今天寫的部落格主要參考了清華大學黃民烈老師團隊2018年在IJCAI上發表的paper《Densely Connected CNN with Multi-scale Feature Attention for Text Classification》。
這篇paper其實就是使用基於CNN的網路來進行文字的情感分類，但是它針對的問題是傳統的多層次的CNN網路使用static視窗來進行卷積，每次針對句子中提取n-gram feature 都是一樣的，如果遇到以下例子，就會影響模型的準確性：

在該樣例中，不管是單純的1-gram還是3-gram都不太合適：針對“nice”這個單詞需要1-gram，但是針對“without being patronizing”這個片語需要3-gram。如何設計模型，讓其能夠自動地識別這種區別，是這篇paper主要解決的問題。

在正式介紹模型之前，作者提出了“a deeper model is more elegant than a wider solution”。因為使用小視窗的deeper model在模型高層次部分，其卷積器真正觀測到的原始句子序列中的視野是越來越大的。於是，參照在影象處理中常見的一種結構，作者設計了一種網路結構如下所示：

左邊是模型的邏輯運作示意圖，右邊是模型的真實實現示意圖。其實圖中最需要關注的就是那幾條紅線。假設模型的層次一共是l$l$層，那麼第l$l$層結果計算公式如下所示：
Xl=f(Wl,[X1,X2,.......Xl−1])$X_l=f(W_l,[X_1,X_2,.......X_{l-1}$

])
其中引數矩陣Wl$W_l$維度為Wl∈R(l−1)∗k∗w∗k$W_l\in R^{(l-1)\ast k\ast w\ast k}$，其中w代表了寬度，一個k代表了卷積器的個數，一個k代表了中間詞向量的維度。可以看出這裡面X1$X_1$,X2$X_2$…Xl−1$X_{l-1}$都是維度為m∗k$m\ast k$的矩陣，m$m$代表了句子中單詞的個數。在使用卷積處理之後，結果依然是l−1$l-1$個維度為m∗k$m\ast k$結果矩陣，然後使用矩陣的對位相加操作得當最終的Xl$X_l$為m∗k$m\ast k$。

按照這樣的計算方式，最終模型的輸出層有X1,X2....Xl$X_1,X_2....X_l$，每一個矩陣的每一行都代表了以該行號為下標的n-gram，接下來就是設計一種attention從中選擇對分類最有意義的n-gram。整個過程如下圖所示：

假設xil∈Rk$x_l^i\in R^k$代表第l層下標為i的語義向量，設sil=∑kj=1xil(j)$s_l^i=\sum _{j=1}^k{x}_l^i(j)$
xiatten=∑Ll=1αilxil$x_{atten}^i=\sum _{l=1}^L{\alpha }_l^i{x}_l^i$
其中 alphai=softmax(MLP(si))$alph{a}^i=softmax(MLP(s^i))$
si=[si1,si2,....siL]$s^i=[s_1^i,s_2^i,....s_L^i]$
αi=[αi1,αi2,.....αiL]${\alpha }^i=[{\alpha }_1^i,{\alpha }_2^i,.....{\alpha }_L^i]$
最終句子的表徵為Xatten=[x1atten,

相關推薦

一種基於CNN的自動化提取n-gram feanture的文字分類模型

今天寫的部落格主要參考了清華大學黃民烈老師團隊2018年在IJCAI上發表的paper《Densely Connected CNN with Multi-scale Feature Attention for Text Classification》。 這篇p

文字情感分析(一)：基於詞袋模型(VSM和LSA)和n-gram的文字表示

現在自然語言處理用深度學習做的比較多，我還沒試過用傳統的監督學習方法做分類器，比如SVM、Xgboost、隨機森林，來訓練模型。因此，用Kaggle上經典的電影評論情感分析題，來學習如何用傳統機器學習方法解決分類問題。 通過這個情感分析的題目，我會整理做特徵工程、引數調優和模型融合的方法，這一系列會有四篇文

Magnostics Image-based Search of Interesting Matrix Views for Guided Network Exploration（一種基於網絡信息矩陣圖像的網絡探索方法）

希望 組合 cad 區分 加權 rest 結果 xpl ati 網絡、關系等數據變成如圖的鄰接矩陣時（紅色代表兩個節點也就是人，之間有聯系），但是得到的矩陣會因為順序的問題而出現不同的排列方式，在第一種中會發現因為有聚集的塊狀區域而很容易地把數據分為兩個部分，然後根據數據的

一種基於python的人臉識別開源系統

無意中 sdn 要求 測試用例 不出 例子 https bin 人臉識別 　　今天在搜索人臉識別的文章時，無意中搜到一個比較開源代碼，介紹說是這個系統人臉的識別率 是比較高的，可以達到：99.38%。這麽高的識別率，著實把我嚇了一跳。抱著實事求是的態度。個人 就做了一些驗證

一種基於NTC的控溫電路及軟件實現

推導 極限 div images emp com 兩種 通過 cati NTC（Negative Temperature Coefficient）是一種隨溫度上升時，電阻值呈指數關系減小的熱敏電阻。應用廣泛，最近我們就采用了NTC來控制加熱並測溫，並達到了預期的效果。 1、

一種基於 Numpy 的 TF-IDF 實現報告

常用 離線 數據結構與算法分析 dex 參考文獻 代碼 運行 數組 步驟 一種基於 Numpy 的 TF-IDF 實現報告 摘要 本文使用了一種 state-of-the-art 的矩陣表示方法來計算每個詞在每篇文章上的 TF-IDF 權重（特征）。本文還將介紹基於 TF-

【書摘】一種基於Git的版本管理方案

功能 前端 需要 bug evel 熱修復 per person feature 本篇摘錄自《前端工程化體系設計與實踐》一書，筆者認為是一套相對合理的方案，建議團隊可以根據實際情況進行調整並增加協作命名規範。 master分支——主分支 存儲已發布版本的源碼，不能在此

一種基於STM32的APP和BootLoader設計的方法

IAP（In Application Programming）即在應用程式設計， IAP 是使用者自己的程式在執行過程中對User Flash 的部分割槽域進行燒寫，目的是為了在產品釋出後可以方便地通過預留的通訊口對產品中的韌體程式進行更新升級。 通常實現 IAP 功能時，即使用者程式執

一種基於凸優化的影象去噪方法演示

本文介紹一種基於凸優化的影象去噪方法。　該方法採用L1範數來衡量影象的平滑度，即能濾除澡聲，又能最大限度地儲存影象的邊緣。　模型如下： 　 其中f(x)為差分矩陣，存放了Ｘ每個元素與其4鄰域的差值。 I為輸入的灰度影象。　對於三通道彩色影象，可

一種新的自動化 UI 測試解決方案 Airtest Project

今天分享一個自動化UI測試工具airtest——一款網易出品的基於影象識別面向遊UI測試的工具，也支援原生Android App基於元素識別的UI自動化測試。主要包含了三部分：Airtest IDE、Airtest（用截圖寫指令碼）和 Poco（用介面UI元素來寫指令碼）。 來自google的評價：

怎麼通過郵箱發超大附件？介紹一種基於雲服務的方法

合作伙伴第5次催促時，10G的CAD圖紙才傳了67%；又一次，寫好郵件上傳附件時，被通知檔案太大無法上傳；郵件傳送出去的會議資料，永遠不知道誰沒有檢視，還要電話通知一遍…… 工作中，你肯定遇到過上述類似的情況。檔案太大、傳輸緩慢、無法跟蹤檔案狀態，再加上懸在頭頂的deadline，隨便一種情況都足以讓我們焦

一種基於TLS的高階反除錯技術

盜版行為日益猖獗，嚴重影響到軟體開發者和開發商的智慧財產權及利益，反盜版技術的重要性也越來越引起人們的重視。在反盜版技術中，起最大作用的當屬反除錯技術。然而傳統的反除錯技術都存在一個弱點:他們都在程式真正開始執行之後才採取反除錯手段。實際上在反除錯程式碼被執行前，偵錯程式有大量的時間來影響程式的執行，甚至可以

一種基於TLS的高級反調試技術

use 工作 main 時間 nal [] ack array 及其 盜版行為日益猖獗，嚴重影響到軟件開發者和開發商的知識產權及利益，反盜版技術的重要性也越來越引起人們的重視。在反盜版技術中，起最大作用的當屬反調試技術。然而傳統的反調試技術都存在一個弱點:他們都在程序真正開

NeuralTalk：一種基於Python+numpy使用語句描述影象的多模態遞迴神經網路的例程

NeuralTalk工程的流程如下： The pipeline for the project looks as follows: 輸入資料使用Amazon Mechanical Turk收集的影象和5組語句描述的資料集。 The input is a dataset of im

【原始碼】NSGA - II：一種基於進化演算法的多目標優化函式

NSGA-II是一種著名的多目標優化演算法。 NSGA-II is a very famous multi-objective optimization algorithm. 相應的函式為nsga_2(pop,gen)。 The function is nsga_2(pop,g

Bert-一種基於深度雙向Transform的語言模型預訓練策略

今天的部落格主要參考了論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。這篇paper是Google公司下幾個研究員發表的，而且在NLP領域引起了很大的轟動（在多個NLP任

如何實現大檔案快速傳輸？分享一種基於UDP的解決方案

資料正在爆炸式增長，幾乎每兩年翻一番。隨之增加的不僅是資料的數量，還有單體檔案的容量：一張圖片2-3G、一本書稿4-5G、一個視訊片段3-4G、一份設計圖紙十幾G……甚至還有上百G的大檔案。 這些資料和檔案可能是組織機構重要的業務資料，也可能是其重要的資訊資源。它們對於組織機構，尤其是媒體、娛樂、科學計算、

OCTMAP：一種基於八叉樹的高效概率三維對映框架

摘要 三維模型提供了空間的體積表示，這對於包括飛行機器人和裝有機械手的機器人在內的各種機器人應用非常重要。在本文中，我們提出了一個開源框架來生成體積3D環境模型。我們的對映方法基於八叉樹，使用概率佔用估計。它明確地表示不僅佔用的空間，而且自由和未知的區域。此外，我們提出一種八叉樹地圖壓縮方法，以保持

一種基於Android Bitmap和陣列操作的簡單卷積影象處理函式

原理來自於知乎文章： https://zhuanlan.zhihu.com/p/43738099+ 我的實現函式： /**使用卷積核對影象進行處理**/ private static float sharpeningEffect[] = new float[]{-1,-

一種基於二叉樹的int32排序演算法

      之前寫一個庫時用到了字典樹，可以很方便地進行歸類，姓名放進去的時候就會對前部分的字元逐個歸類，從而在全域性深搜的時候得到的字串便是按字母排序過的有序表。        於是我突發奇想——0000、0100、0001