參加了今年的ai challenger 的image caption比賽，最終很幸運的獲得了第二名。這裏小結一下。

1. Pytorch 越來越火了。。 前五名有三個pytoch， 兩個tensorflow 關於哪個learning frame work 更適合圖像nlp相關的應用 我覺得用戶用腳投票使用程度說明一切。
2. 最佳的caption利器當屬微軟的

   Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

   ? ?

   來自 <https://arxiv.org/abs/1707.07998>

   前五名除了我都使用這個思路， 因此我的單模型效果(show attention and tell)是相對最差的。。

3. 強化學習非常重要

   其它選手都通過強化學習大大提升了客觀分數，但是僅僅優化類似cider這樣的指標的強化學習可能會使得句子通順度弱於優化cross entropy可能是這個原因我的主觀流暢性打分最高..

4. 調參和一些細節是至關重要的
   1. 比如lstm hidden size 大部分選手可能使用512 而有的選手使用2048 提升明顯
5. 我使用light gbm 進行gbdt rerank將cider提升了10個點 這裏為 lightgbm 打
   call， 194w樣本，52維特征，5交叉驗證regression 只需要3分鐘， lamdamart 排序只需要5分鐘。
6. 這裏開源了本次比賽我使用的代碼，歡迎contribute，特別是對強化學習的修改及改進，很遺憾盡管我也實現了scst但是沒有達到理想效果幾個指標只有meteor提升，其余指標下降。

https://github.com/chenghuige/image-caption-ai-challenger2017

? ?

? ?

Ai challenger 2017 image caption小結