論文筆記 Learning Visual Knowledge Memory Networks for Visual Question Answering （CVPR2018)

阿新 • • 發佈：2018-12-11

這篇文章的一個出發點也是希望VQA裡面的視覺內容與人的結構化知識相聯絡起來，提出了一種visual

knowledge memory network (VKMN)來將結構化知識與視覺特徵融合進端對端的學習框架。在經典VQA

資料集VQA v1.0與v2.0上在與知識推理相關的問題上取得不錯效果。

在這裡插入圖片描述

對於上圖這樣一個VQA範例，在視覺內容中並不存在Monkey這樣一種視覺物件，其需要外部知識來進行演

繹或者推理（deduction/reasoning)。
這裡寫圖片描述

方法：

（1）Encoding of Image/Question Inputs

這兒值得關注的是其利用了MLB方法中的low-rank bilinear pooling對視覺特徵與文字特徵進行融合，對於

其它跨媒體問題也有一般性。

（2）Knowledge Spotting and Sub-graph Hashing

這裡寫圖片描述

對於給定question，分析出相關實體與屬性，基於其構造的知識庫進行實體擴充套件，形成如上所示的triplet

關係群，作為Knowledge facts。

（3）Visual Knowledge Memory Network

對於triplet $< s ，$

r ， t > <s，r，t>

< s ， r ， t >

，(即<主體，關係，客體>)，構造Key-value這樣的鍵值對，因為VQA不確定對

$s$

, r , t s, r, t

s, r, t

中的哪一部分提問,故

(s, r)

，

(s, t)

，

(r, t)

都可做為key，然後分別對key與value進行編碼。

這篇文章的memory機制的流程比較直觀與形象，簡述如下：

對於一個query（這在記憶機制中是個很關鍵的一點，很多非QA的問題，如果能很好地定義query也可引

入記憶機制，比如可往跨媒體檢索上面引），其與memory中的主鍵key進行相似度比較，然後進行value

的讀取，進行問題的回答。

Knowledge base:

本文自身構造了一個visual knowledge base，即知識條目triplet的構造其主要有兩種來源:

（1）從VQA v1.0中question與answer這樣的pair中抽取。

（2）直接從現有的Visual Genome Relationship(VGR)中獲得knowledge triplet，通過這兩種方式構造自

己的視覺知識庫。

這篇文章的一些不足：

（1）雖然涉及memory的讀，但我發現其並沒有寫機制。

（2）triplet的擴充套件。該文是基於question中的實體與屬性，繼而在知識庫中進行關聯擴充套件，對於VQA中

視覺資訊的利用，該文僅僅只是提影象全域性特徵，其實另外一方面可以對圖片進行屬性/目標提取，與

前者question中分析出的概念共同作為query，來形成更為豐富與完備的知識條目。

實驗結果

baseline

這裡寫圖片描述

VQA 1.0

這裡寫圖片描述

VQA 2.0

這裡寫圖片描述

視覺化

這裡寫圖片描述

參考原文：Learning Visual Knowledge Memory Networks for Visual Question Answering

論文筆記 Learning Visual Knowledge Memory Networks for Visual Question Answering （CVPR2018)

這篇文章的一個出發點也是希望VQA裡面的視覺內容與人的結構化知識相聯絡起來，提出了一種visual knowledge memory network (VKMN)來將結構化知識與視覺特徵融合進端對端的學習框架。在經典VQA 資料集VQA v1.0與v2.0上在與知識推理相關的問題

論文筆記《Very Deep Convolutional Networks for Large-Scale Image Recognition》

VGGNet在2014年的ILSVRC競賽上，獲得了top-1 error的冠軍和top-5 error的第二名，錯誤率分別為24.7%和7.3%，top-5 error的第一名是GoogLeNet 6.7%。在圖片定位任務中，也獲得了冠軍。網路層數由之前的AlexNet 的8層提高到了最高19

【論文筆記】Region-based Convolutional Networks for Accurate Object Detection and Segmentation

《Region-based Convolutional Networks for Accurate Object Detection and Segmentation》是將卷積神經網路應用於物體檢測的一篇經典文章。整個識別過程可以用下面的一張圖片來清晰的表示：首先給定一

論文解讀：Stacked Attention Networks for Image Question Answering

這是關於VQA問題的第二篇系列文章，這篇文章在vqa領域是一篇比較有影響的文章。本篇文章將介紹論文：主要思想；模型方法；主要貢獻。有興趣可以檢視原文：Stacked Attention Networks for Image Question Answering。原論文中附有作者原始碼。

論文閱讀筆記二十四：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition（SPPNet CVPR2014）

分享圖片介紹 bin con strong map com 提高 https 論文源址：https://arxiv.org/abs/1406.4729 tensorflow相關代碼：https://github.com/peace195/sppnet 摘要

論文筆記-Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

mach default rap lin -s rnn alias for wrap 針對機器翻譯，提出 RNN encoder-decoder. encoder與decoder是兩個RNN，它們放在一起進行參數學習，最大化條件似然函數。網絡結構：註意輸入語句與

【目標跟蹤】MemTrack：Learning Dynamic Memory Networks for Object Tracking

ECCV2018一篇用LSTM做tracking的文章，文章連結：MemTrack Motivation：作者主要是想解決基於模板匹配類演算法對目標形變的適應性問題。典型的模板匹配演算法比如Sia

【論文閱讀】Learning Dual Convolutional Neural Networks for Low-Level Vision

論文閱讀（【CVPR2018】Jinshan Pan - Learning Dual Convolutional Neural Networks for Low-Level Vision）本文針對低層視覺問題，提出了一般性的用於解決低層視覺問題的對偶卷積神經網路。作者認為，低層視覺問題，如常見的有

(DaSiamRPN)Distractor-aware Siamese Networks for Visual Object Tracking 閱讀筆記

2018年的VOT競賽結果已出，基於深度特徵(Deep Feature)的相關濾波依舊強勢，但值得注意的是，基於孿生網路(Siamese Network)的方法異軍突起，在主賽上有不俗表現的同時，在實時

【論文閱讀筆記】MULTI-SCALE DENSE NETWORKS FOR RESOURCE EFFICIENT IMAGE CLASSIFICATION

Gao Huang(Cornell University), ICLR 2018 best Papers 文章連結：https://arxiv.org/pdf/1703.09844.pdf 程式碼連結：https://github.com/gaohuang/MSDNet

【筆記】SPP-Net : Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

基於空間金字塔池化的卷積神經網路物體檢測論文：http://xueshu.baidu.com/s?wd=paperuri%3A%28c51f05992150d24c15f0dabf0913382e%29&filter=sc_long_sign&tn=SE

【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description

【論文閱讀】Long-Term Recurrent Convolutional Networks for Visual Recognition and Description 這篇文章是15年的一篇文章，文章設計了CNN+LSTM的網路結構用於行為識別、影象描述、視訊描述。因為我研究行為

NRE論文總結：Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

acl論文閱讀（Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification，中科大自動化所 Zhou ACL 2016）資料集詳情 SemEval-2010 Ta

深度學習論文翻譯解析（九）：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

論文標題：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition　　　　　　標題翻譯：用於視覺識別的深度卷積神經網路中的空間金字塔池論文作者：Kaiming He, Xiangyu Zhang, Shao

論文筆記10：ITSEGO: An Ontology for Game-based Intelligent Tutoring Systems

參考論文：ITSEGO: An Ontology for Game-based Intelligent Tutoring Systems Abstract 這項工作提出了一個方法，發展學生解決問題的能力和數字能力，實現從幼兒園到小學的過渡。通過一種基於本體的方法，該方法將一個智慧的輔導系統（

【CV論文閱讀】Two stream convolutional Networks for action recognition in Vedios

論文的三個貢獻（1）提出了two-stream結構的CNN，由空間和時間兩個維度的網路組成。（2）使用多幀的密集光流場作為訓練輸入，可以提取動作的資訊。（3）利用了多工訓練的方法把兩個資料集聯合起來。 Two stream結構視屏可以分成空間與時間兩個部

論文解讀：DeLiGAN: Generative Adversarial Networks for Diverse and Limited Data

前言：DeLiGAN是計算機視覺頂會CVPR2017發表的一篇論文，本文將結合Python原始碼學習DeLiGAN中的核心內容。DeLiGAN最大的貢獻就是將生成對抗網路（GANs）的輸入潛空間編碼為混合模型（高斯混合模型），從而使得生成對抗網路（GANs）在數量有限但具有多樣性的訓練資料上表現出較

SPP-net(Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition)

Abstract SPP-net提出了空間金字塔池化層來解決CNN只是輸入固定尺寸的問題，因為單固定尺寸的輸入會影響識別效果，並且對於多尺度影象的情況下魯棒性不好。SPP-net很好的解決了以上問題，對於任意尺度影象都可以提取出固定維度的特徵，實驗證明SPP-net對分類

Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving c

Learning Spatially Regularized Correlation Filters for Visual Tracking （SRDCF）

轉載至：http://blog.csdn.net/ben_ben_niao/article/details/51325716今天對SRDCF演算法做一些筆記[paper:Learning Spatially Regularized Correlation Filters fo

論文筆記 Learning Visual Knowledge Memory Networks for Visual Question Answering （CVPR2018)

方法：

Knowledge base:

實驗結果

相關推薦