在原來兩個博文基礎上整理而來
感謝一波這個部落格和lgd1234567
實現程式碼可以直接git這個地址，裡面預訓練網路已經存在了，不需要額外下載模型資料im2txt_demo

Image Caption即影象描述，github上面的很多的專案是img2txt，目的是從圖片中自動生成一段描述性文字，即看圖說話。難點是不僅要能檢測出影象中的物體，而且要理解物體之間的相互關係，最後還要用合理的語言表達出來。需要將影象中檢測到的目標得到相應的向量，再將這些向量對映到文字。
影象識別方面fastrcnn，ssd等模型效果較好,下面圖的專案連結

但是這一步僅僅完成了一半，下一步更多的是將這些片語成句子，這是NLP的問題。
接下來針對目前相關的論文進行相關理論的介紹，後面將會針對一個專案具體實現。
自己對NLP不瞭解，下面的一段是摘抄自

「Show and Tell」——影象標註（Image Caption）任務技術綜述

Encoder-Decoder結構

在介紹Image Caption相關的技術前，有必要先來複習一下RNN的Encoder-Decoder結構。我們知道，在最原始的RNN結構中，輸入序列和輸出序列必須是嚴格等長的。但在機器翻譯等任務中，源語言句子的長度和目標語言句子的長度往往不同，因此我們需要將原始序列對映為一個不同長度的序列。Encoder-Decoder模型就解決了這樣一個長度不一致的對映問題，它的結構如下圖所示：

w1,w2,w3...wn$w_1,w_2,w_3\text{...}{w}_n$是輸入的單詞序列，而y1

,y2,...ym$y_1,y_2,...y_m$為輸出的單詞序列，每個wi和yi都是已經經過獨熱編碼的單詞，因此它們都是1xD的向量，其中D為程式中使用的單詞表的長度。RNN的隱層狀態(hidden state)用h1,h2,h3...hn$h_1,h_2,h_3\text{...}{h}_n$ 表示。在實際應用中，我們往往不是把獨熱編碼的 w1,w2,w3...wn$w_1,w_2,w_3\text{...}{w}_n$輸入RNN，而是將其轉換為對應的word embedding的形式，即圖中的 x1,x2,x3...xn$x_1,x_2,x_3\text{...}{x}_n$ ，再輸入RNN網路。在Encoder部分，RNN將所有的輸入“編碼”成一個固定的向量表示，即最後一個隱層狀態

hn$h_n$ ， 我們就認為這個hn$h_n$包含了原始輸入中所有有效的資訊，，Decoder在每一步都會利用 h_{n} 這個資訊，進行“解碼”，並輸出合適的單詞序列 y1,y2,...ym$y_1,y_2,...y_m$ 。這樣，我們就完成了不同長度序列之間的轉換工作。

Encoder-Decoder結構最初是在論文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》中提出並應用到機器翻譯系統中的。有興趣的同學可以參考原始論文了解其細節，這裡我們還是回到Image Caption任務中來，看看如何把Encoder-Decoder結構用到Image Caption上。

1. Show and Tell: A Neural Image Caption Generator

在Image Caption輸入的影象代替了之前機器翻譯中的輸入的單詞序列，影象是一系列的畫素值，我們需要從使用影象特徵提取常用的CNN從影象中提取出相應的視覺特徵，然後使用Decoder將該特徵解碼成輸出序列，下圖是論文的網路結構，特徵提取採用的是CNN，Decoder部分，將RNN換成了效能更好的LSTM，輸入還是word embedding，每步的輸出是單詞表中所有單詞的概率。

2.Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

將輸入序列編碼成語義特徵hn$h_n$再解碼,但是因為hn$h_n$的長度限制，會使得對於長句的翻譯精度降低，論文《Neural machine translation by jointly learning to align and translate》提出了一種Attention機制，不再使用統一的語義特徵，而讓Decoder在輸入序列中自由選取需要的特徵，大大提高了Encoder-Decoder的模型效能。《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》利用Attention機制對原來的Encoder-Decoder機制進行改進。具體的就是利用CNN的空間特性，給圖片的不同位置都提取一個特徵，有了含位置資訊的特徵，Decoder在解碼時擁有在這196個位置特徵中選擇的能力，這就是Attention機制。下圖展示了一些例子，每個句子都是模型自動生成的，在圖片中用白色高亮標註了生成下劃線單詞時模型關注的區域：

3.What Value Do Explicit High Level Concepts Have in Vision to Language Problems?

這篇文章提出了使用高層語義特，這個對於從事影象方向的人來說很好理解，CNN的最終的分類層具有全域性資訊，這對於生成的語句來說是很重要的，所以最後也需要將這些包含進去。該文的作者將高層語義理解為一個多標籤的分類問題。當一個影象中存在多個物體時就變成了一對多的問題。
Decoder的結構和最初的那篇論文中的結構完全一致。如在下圖中，藍色的線就是之前直接使用的卷積特徵 CNN(I) ，而紅色線就是這篇文章提出的 Vatt(I)$V_{\text{att}}(I)$ 。實驗證明，使用 Vatt(I)$V_{\text{att}}(I)$代替 CNN(I) 可以大幅提高模型效果。

4.Mind’s Eye: A Recurrent Visual Representation for Image Caption Generation

之前的兩篇論文，《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》以及《What Value Do Explicit High Level Concepts Have in Vision to Language Problems?》一個是給RNN加上了Attention結構，一個是改進了CNN提取的特徵，都是比較好理解的。而這篇文章比較fancy，較多地改動了Decoder部分RNN的本身的結構，使得RNN網路不僅能將影象特徵翻譯為文字，還能反過來從文字得到影象特徵，此外還順帶提高了效能，我們一起來看下是怎麼做的。

下圖就是這篇文章中使用的Decoder RNN。 v 表示影象特徵，st$s_t$表示第t階段RNN的隱層狀態，而 wt$w_t$是第t階段生成的單詞。 v,st,wt$v,s_t,w_t$這三個量都是之前的模型中存在的，而作者又再這些量的基礎上加入了ut$u_t$和v~$\tilde{v}$ 。其中ut$u_t$表示的是“已經生成的文字”的隱變數，作用是記住已經生成單詞中包含的資訊。這個量在每次生成 wt$w_t$時都會使用到，作為給模型的提示。此外，作者還要求在每個階段都可以使用 ut$u_t$去還原視覺資訊 v ，通過 ut$u_t$計算的視覺資訊就是 v~$\tilde{v}$ ，在訓練儘可能要求v~≈v$\tilde{v}\approx v$，換句話說，我們已經生成的文字都要儘可能地去表達視覺資訊，才能做到這樣的還原。

設 Wt={w

相關推薦

Image Caption影象描述原理簡介及實現

在原來兩個博文基礎上整理而來 感謝一波這個部落格和lgd1234567 實現程式碼可以直接git這個地址，裡面預訓練網路已經存在了，不需要額外下載模型資料im2txt_demo Image Caption即影象描述，github上面的很多的專案是img

分水嶺演算法分割影象的原理概述及OpenCV程式碼實現

前面博文中提到的影象閾值化，影象邊緣檢測，影象輪廓檢測實際上都是一種影象分割法，影象分割在影象處理識別是非常重要的，這點沒有做過影象識別或影象處理的人都很容易想到，就不多解釋了。所以影象分割法就根據不同的應用需要出現了很多方法。 本篇博文介紹利用分水嶺進行影象分割的方法。它

查找算法簡介及實現

OS selection 選擇 arch cas 二叉排序樹 cout 哈希表 int 1 //查找算法： 2 // 順序查找 3 // 二分查找（插值查找，斐波那契查找） 4 // 二叉排序樹查找 5 //

非線性最小二乘法之Gauss Newton、L-M、Dog-Leg原理簡介與實現

double func(const VectorXd& input, const VectorXd& output, const VectorXd& params, double objInd

Image Caption（一） 論文及理解

準備開始讀一下Image Caption，先記錄一下對論文的理解，一些公式沒有記錄下來，在論文中可查。 目錄 1.Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Transla

B樹的原理分析及實現

    B樹是為磁碟或其他直接存取的輔助裝置而設計的一種平衡搜尋樹。許多資料庫系統使用B樹或B樹的變種來儲存資訊。為何會採用這種樹結構進行設計呢，《演算法導論》18章講得很到位，值得細細品味。    下面直接開始瞭解B樹的實現細節吧！     一、B樹的定義     它與二

CF演算法簡介及實現

cf演算法全稱“Collaborative Filtering”，即協同過濾演算法。協同過濾演算法是非常強大與成熟（古老）的一套演算法。它廣泛應用於電子商務系統等領域。  協同過濾演算法的出現標誌著推薦系統的產生。 協同過濾簡單來說是利用某興趣相投、擁有共同經驗之群體的喜好

XGBoost演算法原理簡介及調參

簡介 當模型沒有達到預期效果的時候，XGBoost就是資料科學家的最終武器。XGboost是一個高度複雜的演算法，有足夠的能力去學習資料的各種各樣的不規則特徵。 用XGBoost建模很簡單，但是提升XGBoost的模型效果卻需要很多的努力。因為這個演

Java☞DES加解密演算法簡介及實現

Java加密解密之對稱加密演算法DES 　　資料加密演算法（Data Encryption Algorithm，DEA）是一種對稱加密演算法，很可能是使用最廣泛的金鑰系統，特別是在保護金融資料的安全中，最初開發的DEA是嵌入硬體中的。通常，自動取款機（Aut

Android——訊飛語音喚醒簡介及實現

前段時間寫了一個關於百度語音喚醒文章，最近有做了一個訊飛語音的應用，在這裡把學習的資料整理一下。 喚醒的整個過程如下： （圖源自訊飛官網） 訊飛的語音喚醒功能實現起來挺方便的（相比百度，百度語音Android端的語音喚醒是基於service實現的）百度語音

影象分割演算法簡介及常用邊緣檢測演算法

                                                                              影象分割演算法概述及常用邊緣檢測演算法 一、概述　　用計算機進行數字影象處理的目的有兩個，一是產生更適合人類視覺觀察和

Apriori演算法簡介及實現（python）

Apriori這個詞的意思是“先驗的”，從priori這個詞根可以猜出來~;) 。該演算法用於從資料中挖掘頻繁項資料集以及關聯規則。其核心原理是基於這樣一類“先驗知識”：  如果一個數據項在資料庫中是頻繁出現的，那麼該資料項的子集在資料庫中也應該是頻繁出現的（命題1）

storm 原理簡介及單機版安裝指南

Storm是一個分散式的、高容錯的實時計算系統。 Storm對於實時計算的的意義相當於Hadoop對於批處理的意義。Hadoop為我們提供了Map和Reduce原語，使我們對資料進行批處理變的非常的簡單和優美。同樣，Storm也對資料的實時計算提供了簡單Spout和Bolt原語。 Storm適

Promise原理探究及實現

前言 作為ES6處理非同步操作的新規範，Promise一經出現就廣受歡迎。面試中也是如此，當然此時對前端的要求就不僅僅侷限會用這個階段了。下面就一起看下Promise相關的內容。 Promise用法及實現 在開始之前，還是簡單回顧下Promise是什麼以及怎麼用，直接上來談實現有點空中花園的感覺。(下面示例參

影象特徵檢測描述(一):SIFT、SURF、ORB、HOG、LBP特徵的原理概述及OpenCV程式碼實現

什麼叫特徵檢測？就是檢測影象中目標的特徵唄，所謂特徵，不管你怎麼旋轉目標，離目標遠近，它的特徵都應不變才對，這兩個特性稱為叫旋轉不變性和尺度不變性。當然還有其它特徵，如光照不一樣，也不應該變化嘛，只是旋轉不變性和尺度不變性是最基本的兩個要求。 對特徵的描述有很多種方法和運算

sift演算法特徵描述子構建程式碼實現--梯度直方圖生成原理及程式碼

0.引言 sift針對區域性特徵進行特徵提取，在尺度空間尋找極值點，提取位置，尺度，旋轉不變數，生成特徵描述子。 總共分四個步驟： step3 生成梯度直方圖 生成特徵點的梯度資訊，並且確定主方向和輔助主方向的關鍵點。 3.1 梯度計算

眼底影象血管增強與分割--（2）Gabor濾波演算法原理及實現

Gabor濾波演算法 維基裡給出的解釋，“In image processing, aGabor filter is a linear filter used fortextureanalysis,

spring-session簡介、使用及實現原理

一：spring-session 介紹 1.簡介 session一直都是我們做叢集時需要解決的一個難題，過去我們可以從serlvet容器上解決，比如開源servlet容器-tomcat提供的tomcat-redis-session-m

Android影象處理－畫素化的原理及實現

部落格地址：xiazdong.github.io 馬賽克演算法首先需要確定馬賽克單元的大小，即小方塊的大小。馬賽克圖的每個馬賽克單元都是純色的塊，其取值一般為原圖中該塊區域的顏色的均值（這裡的實現為了簡化，取了原圖中該區域左上角的畫素）。馬賽克單元的大小決定了最後的馬賽克圖的樣子，當值為1時，就是原圖。

推薦演算法之FFM：原理及實現簡介

推薦系統一般可以分成兩個模組，檢索和排序。比如對於電影推薦，檢索模組會針對使用者生成一個推薦電影列表，而排序模組則負責對這個電影列表根據使用者的興趣做排序。當把FFM演算法應用到推薦系統中時，具體地是應用在排序模組。 FFM演算法，全稱是Field-aware