https://www.bilibili.com/video/BV1Ff4y187nr?p=1&vd_source=dc534a107c49970f2bcc80d979df8457
1.思想
从众多信息中选取对目标有用的信息,并聚焦到这些信息上(由权重系数决定),减少不必要的算力,提高模型效率
![](https://img-blog.csdnimg.cn/img_convert/c282ffc089536df91bc7c0a1d8265114.png)
![](https://img-blog.csdnimg.cn/img_convert/f626039ab129a0ced00e66c4a42ac459.png)
实现:从encoder-decoder框架理解,对输入设置权重,来区分不同信息的重要程度
- 计算过程
![](https://img-blog.csdnimg.cn/img_convert/e5b058a27589957252127a009d96394c.png)
![](https://img-blog.csdnimg.cn/img_convert/c25c4f9ee166544ba4aabe1789293ac6.png)
https://www.bilibili.com/video/BV1Ff4y187nr?p=1&vd_source=dc534a107c49970f2bcc80d979df8457
从众多信息中选取对目标有用的信息,并聚焦到这些信息上(由权重系数决定),减少不必要的算力,提高模型效率
实现:从encoder-decoder框架理解,对输入设置权重,来区分不同信息的重要程度