CV領域

1.進展：如上圖所述，當前CV領域主要包括兩個大的方向，”低層次的感知” 和 “高層次的認知”。

2.主要的應用領域：視訊監控、人臉識別、醫學影象分析、自動駕駛、 機器人、AR、VR

3.主要的技術：分類、目標檢測（識別)、分割、目標追蹤、邊緣檢測、姿勢評估、理解CNN、超解析度重建、序列學習、特徵檢測與匹配、影象標定，視訊標定、問答系統、圖片生成（文字生成影象）、視覺關注性和顯著性（質量評價）、人臉識別、3D重建、推薦系統、細粒度影象分析、影象壓縮

分類主要需要解決的問題是“我是誰？”
目標檢測主要需要解決的問題是“我是誰？ 我在哪裡？”
分割主要需要解決的問題是“我是誰？ 我在哪裡？你是否能夠正確分割我？”
目標追蹤主要需要解決的問題是“你能不能跟上我的步伐，儘快找到我？”
邊緣檢測主要需要解決的問題是：“如何準確的檢測到目標的邊緣？”
人體姿勢評估主要需要解決的問題是：“你需要通過我的姿勢判斷我在幹什麼？”
理解CNN主要需要解決的問題是：“從理論上深層次的去理解CNN的原理？”
超解析度重建主要需要解決的問題是：“你如何從低質量圖片獲得高質量的圖片？”
序列學習主要解決的問題是“你知道我的下一幅影象或者下一幀視訊是什麼嗎？”
特徵檢測與匹配主要需要解決的問題是“檢測影象的特徵，判斷相似程度？”
影象標定主要需要解決的問題是“你能說出影象中有什麼東西？他們在幹什麼呢？”
視訊標定主要需要解決的問題是“你知道我這幾幀視訊說明了什麼嗎？”
問答系統主要需要解決的問題是：“你能根據影象正確回答我提問的問題嗎？”
圖片生成主要需要解決的問題是：“我能通過你給的資訊準確的生成對應的圖片？”
視覺關注性和顯著性主要需要解決的問題是：“如何提出模擬人類視覺注意機制的模型？”
人臉識別主要需要解決的問題是：“機器如何準確的識別出同一個人在不同情況下的臉？”
3D重建主要需要解決的問題是“你能通過我給你的圖片生成對應的高質量3D點雲嗎？”
推薦系統主要需要解決的問題是“你能根據我的輸入給出準確的輸出嗎？”
細粒度影象分析主要需要解決的問題是“你能辨別出我是哪一種狗嗎？等這些更精細的任務”
影象壓縮主要需要解決的問題是“如何以較少的位元有損或者無損的表示原來的影象？”

注：
1. 以下我主要從CV領域中的各個小的領域入手，總結該領域中一些網路模型，基本上覆蓋到了各個領域，力求完整的收集各種經典的模型，順序基本上是按照時間的先後，一般最後是該領域最新提出來的方案，我主要的目的是做一個整理，方便自己和他人的使用，你不再需要去網上收集大把的資料，需要的是仔細分析這些模型，並提出自己新的模型。這裡面收集的論文質量都比較高，主要來自於ECCV、ICCV、CVPR、PAM、arxiv、ICLR、ACM等頂尖國際會議。並且為每篇論文都添加了連結。可以大大地節約你的時間。同時，我挑選出論文比較重要的網路模型或者整體架構，可以方便你去進行對比。有一個更好的全域性觀。具體 細節需要你去仔細的閱讀論文。由於個人的精力有限，我只能做成這樣，希望大家能夠理解。謝謝。
2. 我會利用自己的業餘時間來更新新的模型，但是由於時間和精力有限，可能並不完整，我希望大家都能貢獻的一份力量，如果你發現新的模型，可以聯絡我，我會及時回覆大家，期待著的加入，讓我們一起服務大家！

如下圖所示：

LeNet網路1：

LeNet網路2：

AlexNet網路1：

AlexNet網路2：

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification網路：

GoogLeNet網路1：

GoogLeNet網路2：

Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification網路：

Batch Normalization：

VGGNet網路1：

VGGNet網路2：

ResNet網路：

InceptionV4網路：

OVerfeat網路：

R-CNN網路：

SPP-Net網路：

DeepID-Net網路：

DeepBox網路：

MR-CNN網路：

Fast-RCNN網路：

R-CNN minus R網路：

End-to-end people detection in crowded scenes網路：

Faster-RCNN網路：

DenseBox網路：

Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning網路：

R-FCN網路：

YOLO和SDD網路：

Inside-Outside Net網路：

G-CNN網路：

PVANET網路：

Speed/accuracy trade-offs for modern convolutional object detectors：

FCN網路1：

FCN網路2：

segNet網路：

Deeplab網路：

deconvNet網路：

Conditional Random Fields as Recurrent Neural Networks網路：

Semantic Segmentation using Adversarial Networks網路：

SEC: Seed, Expand and Constrain網路：

Efficient piecewise training of deep structured models for semantic segmentation網路：

Semantic Image Segmentation via Deep Parsing Network網路：

BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation：

Learning Deconvolution Network for Semantic Segmentation：

PUSHING THE BOUNDARIES OF BOUNDARY DETECTION USING DEEP LEARNING：

Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation：

Learning Transferrable Knowledge for Semantic Segmentation with Deep Convolutional Neural Network：

Feedforward Semantic Segmentation With Zoom-Out Features網路：

Joint Calibration for Semantic Segmentation：

Hypercolumns for Object Segmentation and Fine-Grained Localization：

Learning Hierarchical Features for Scene Labeling：

MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS：

Segment-Phrase Table for Semantic Segmentation, Visual Entailment and Paraphrasing：

Weakly supervised graph based semantic segmentation by learning communities of image-parts：

Scene Parsing with Multiscale Feature Learning：

DLT網路：

Transferring Rich Feature Hierarchies for Robust Visual Tracking網路：

FCNT網路：

Hierarchical Convolutional Features for Visual Tracking網路：

MDNet網路：

DeepTracking網路：

ecurrently Target-Attending Tracking網路：

DeepTrack網路：

Online Tracking by Learning Discriminative Saliency Map
with Convolutional Neural Network：

HED網路：

DeepEdge網路：

DeepContour網路：

DeepPose網路：

JTCN網路：

Flowing convnets for human pose estimation in videos網路：

Stacked hourglass networks for human pose estimation網路：

Convolutional pose machines網路：

Deepcut網路：

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields網路：

Visualizing and Understanding Convolutional Networks網路：

Inverting Visual Representations with Convolutional Networks：

Object Detectors Emerge in Deep Scene CNNs：

Understanding Deep Image Representations by Inverting Them：

Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images：

Understanding image representations by measuring their equivariance and equivalence：

Learning Iterative Image Reconstruction網路：

Learning Iterative Image Reconstruction in the Neural Abstraction Pyramid：

Learning a Deep Convolutional Network for Image Super-Resolution：

Image Super-Resolution Using Deep Convolutional Networks：

Accurate Image Super-Resolution Using Very Deep Convolutional Networks：

Deeply-Recursive Convolutional Network for Image Super-Resolution：

Deep Networks for Image Super-Resolution with Sparse Prior：

Perceptual Losses for Real-Time Style Transfer and Super-Resolution：

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network：

Explain Images with Multimodal Recurrent Neural Networks：

Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models：

Long-term Recurrent Convolutional Networks for Visual Recognition and Description：

A Neural Image Caption Generator：

Deep Visual-Semantic Alignments for Generating Image Description：

Translating Videos to Natural Language Using Deep Recurrent Neural Networks：

Learning a Recurrent Visual Representation for Image Caption Generation：

From Captions to Visual Concepts and Back：

Show, Attend, and Tell: Neural Image Caption Generation with Visual Attention：

Phrase-based Image Captioning：

Learning like a Child: Fast Novel Visual Concept Learning from Sentence Descriptions of Images：

Exploring Nearest Neighbor Approaches for Image Captioning：

Image Captioning with an Intermediate Attributes Layer：

Learning language through pictures：

Describing Multimedia Content using Attention-based Encoder-Decoder Networks：

Image Representations and New Domains in Neural Image Captioning：

Learning Query and Image Similarities with Ranking Canonical Correlation Analysis：

Generative Adversarial Text to Image Synthesis：

GENERATING IMAGES FROM CAPTIONS WITH ATTENTION：

Long-term Recurrent Convolutional Networks for Visual Recognition and Description：

Translating Videos to Natural Language Using Deep Recurrent Neural Networks：

Joint Modeling Embedding and Translation to Bridge Video and Language：

Sequence to Sequence–Video to Text：

Describing Videos by Exploiting Temporal Structure:

The Long-Short Story of Movie Description：

Aligning Books and Movies: Towards Story-like Visual Explanations by Watching Movies and Reading Books：

Describing Multimedia Content using Attention-based Encoder-Decoder Networks：

Temporal Tessellation for Video Annotation and Summarization：

Summarization-based Video Caption via Deep Neural Networks：

Deep Learning for Video Classification and Captioning：

問答系統

經典模型：

1. Ask Your Neurons: A Neural-based Approach to Answering Questions about Images
   https://arxiv.org/pdf/1505.01121.pdf

2. Image Question Answering: A Visual Semantic Embedding Model and a New Dataset
   https://arxiv.org/pdf/1505.02074.pdf

3. Dataset and Methods for Multilingual Image Question Answering
   https://arxiv.org/pdf/1505.05612.pdf

4. Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction

5. Dynamic Memory Networks for Visual and Textual Question Answering
   https://arxiv.org/pdf/1603.01417v1.pdf

6. Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
   https://arxiv.org/pdf/1606.01847.pdf

7. Training Recurrent Answering Units with Joint Loss Minimization for VQA
   https://arxiv.org/pdf/1606.03647.pdf

VQA: Visual Question Answering：

Ask Your Neurons: A Neural-based Approach to Answering Questions about Images：

Image Question Answering: A Visual Semantic Embedding Model and a New Dataset：

Stacked Attention Networks for Image Question Answering：

Dataset and Methods for Multilingual Image Question Answering：

Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction：

Dynamic Memory Networks for Visual and Textual Question Answering：

Multimodal Residual Learning for Visual QA：

Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding：

Training Recurrent Answering Units with Joint Loss Minimization for VQA：

Hadamard Product for Low-rank Bilinear Pooling：

Question Answering Using Deep Learning：

Conditional Image Generation with PixelCNN Decoders：

Learning to Generate Chairs with Convolutional Neural Networks：

DRAW: A Recurrent Neural Network For Image Generation：

Generative Adversarial Networks：

Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks：

A note on the evaluation of generative models：

Variationally Auto-Encoded Deep Gaussian Processes：

Generating Images from Captions with Attention：

Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks：

Censoring Representations with an Adversary：

Distributional Smoothing with Virtual Adversarial Training：

Generative Visual Manipulation on the Natural Image Manifold：

Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks：

Wasserstein GAN：

Loss-Sensitive Generative Adversarial Networks on Lipschitz Densities：

Conditional Generative Adversarial Nets：

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets：

Conditional Image Synthesis With Auxiliary Classifier GANs：

SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient：

Improved Training of Wasserstein GANs：

Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis：

Predicting Eye Fixations using Convolutional Neural Networks：

相關推薦