1. 程式人生 > >attention發展歷史及其相應論文

attention發展歷史及其相應論文

發展歷史 answer ani 找到 分類 farmer tor mod 生成

這個論文講述了attention機制的發展歷史以及在發展過程的變體-註意力機制(Attention Mechanism)在自然語言處理中的應用

上面那個論文提到attention在CNN中應用,有一個模型叫做ABCNN模型,我找到了相應的博文解釋,寫的還是不錯的,可以看一下這裏-《ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs》閱讀筆記

這個論文 對上面這個ABCNN模型進行了一個pytorch的實現論文筆記:ABCNN 閱讀和實現(PyTorch)
這個哥們在知乎現在在用pytorch實現一些模型,還不錯可以關註一波,我感覺他還挺厲害的,可以看看它其他的文章,比如說短文本匹配問題

他還寫了一篇關於transformer的可以看一看transfromer

attention機制在圖像分類中的是實現-這個作者做了一個綜述

這位朋友分享了兩個CNN中attention-1

這位朋友分享了兩個CNN中attention-2

圖片生成文字原理綜述-我對這個了解不深,這個博文我也不知道寫的咋樣不過可以了解一下

Attention Mechanism 學習筆記1

從 Transformer 說起

別人家的 Attention

其實主要是根據兩個博文來看
一個這個論文講述了attention機制的發展歷史以及在發展過程的變體-註意力機制(Attention Mechanism)在自然語言處理中的應用

講述了論文
一個這個
Attention Mechanism 學習筆記1

模型匯總24 - 深度學習中Attention Mechanism詳細介紹:原理、分類及應用 - lqfarmer的文章 - 知乎
https://zhuanlan.zhihu.com/p/31547842

attention發展歷史及其相應論文