TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS

阿新 • • 發佈：2020-10-26

TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS

Dense Object Detection

一. 論文簡介

筆者感覺有點水的文章，想著既然看了就做個小記錄吧

主要做的貢獻如下（可能之前有人已提出）：

提出一個目標正則化模組

二. 模組詳解

2.1 論文詳解

文章的出發點？下圖展示了三種DropOut的實際表現，第三種帶有目標性

TargetDropout

上面的圖完全概括了這篇文章的核心，下面一步步說明：

假設 \(H\) 為當前 \(feature\ map\)

, \(shape=[b,c,w,h]\)
對 \(w,h\) 軸進行均值操作，類似SE Attention模組的做法，參見論文公式（1），得到 \(v_c\)
再進行兩個Full-Connect層操作，中間帶兩個啟用函式-Relu+Sigmoid。得到 \(M\)，參見論文公式（2）。這裡的操作意義: 論文說是為了進一步獲得通道之間的獨立性。
先對 \(M\) 進行排序，然後選擇 \(Top-K\) ，選擇數量又一個引數 \(\gamma\) 進行控制，比如 \(channel=5，\gamma=0.4，top-k=2\). 再將 \(M\) 進行二值化，屬於 \(top-k\) 為設定為1，不屬於設定為0，論文公式（3）所示。

Mask的位置 \([b,c]\) 已經確定（B是batch不用管，C按照\(top-k\)），\([w,h]\) 位置按照最大值即可。Mask的大小：按照公式（4）進行（就是一個Kernel，設定大小即可），掩膜操作直接相乘（Mask區域為0，其它區域為1），按照公式（5）。最後進行歸一化介面，按照公式（6）。
很簡單的一個模組，就是加了一個排序操作，訓練階段有點費時，推理階段這個模組不起作用（這一點還是比較好的，相當於輔助訓練）。

# 程式碼略
# 感覺作用不大，不去嘗試了

三. 參考文獻

原始論文

TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS

TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS Dense Object Detection 一. 論文簡介

【論文筆記】Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

地址：https://arxiv.org/pdf/2006.11538.pdf github：https://github.com/iduta/pyconv 目前的卷積神經網路普遍使用3×3的卷積神經網路，通過堆疊3×3的卷積核和下采樣層，會在減少影象的大小的同時增加

論文閱讀筆記《Convolutional Neural Networks for Steel Surface Defect Detection from Photometric Stereo》

小樣本學習&元學習經典論文整理||持續更新核心思想本文提出一種使用光度立體影象（Photometric Stereo Images）對鋼軌表面缺陷進行檢測的方法，關於光度立體影象我沒找到特別詳細的介紹，大體的概

[論文解讀]A Quantitative Analysis Framework for Recurrent Neural Network

A Quantitative Analysis Framework for Recurrent Neural Network 文章目錄 A Quantitative Analysis Framework for Recurrent Neural Network簡介摘要動機THE DeepStellar FRAMEWORK抽象模型構建應用

Counterfactual Generator A Weakly-Supervised Method for Named Entity Recognition

Motivation 在命名體識別領域，由於選擇偏差的存在，模型對於訓練和測試分佈不一樣的資料表現很差，這背後的原因就是模型學習了資料中表現出的虛假因果關係。在這篇文章中，我們從因果角度主要研究NER問題中的虛假關

MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems閱讀筆記

動機本文是來自2021年KDD上的一篇文章。圖神經網路最近已經成為最先進的協同過濾解決方案，目前協同過濾中的一個挑戰是從隱反饋資料中提取負反饋訊號，但是目前很少有對基於GNN的協同過濾方法的負反饋取樣的研究。

SNN_文獻閱讀_Spiking Deep Convolutional Neural Networks for Energy-Efficient Object Recognition

兩種方法將CNN轉化成為SNN：直接訓練一個類似CNN架構的SNN「雖然有類似於STDP等無監督方法，但是處於起步狀態」

關係抽取--Relation Extraction: Perspective from Convolutional Neural Networks

一種使用CNN來提取特徵的模型，通過CNN的filter的大小來獲得不同的n-gram的資訊，模型的結構如下所示：

AlexNet論文(ImageNet Classification with Deep Convolutional Neural Networks)學習筆記

ImageNet Classification with Deep Convolutional Neural Networks學習筆記第一個典型的CNN是LeNet5網路結構，但是第一個引起大家注意的網路卻是本論文所提出的AlexNet。這篇文章的AlexNet網路是在2012年

Convolutional Neural Networks: Application

所需檔案：本地下載 Convolutional Neural Networks: Application Welcome to Course 4\'s second assignment! In this notebook, you will:

[940]TensorFlow練習4: CNN, Convolutional Neural Networks

技術標籤：機器學習 Convolutional Neural Networks翻譯為卷積神經網路，常用在影象識別和語音分析等領域。CNN詳細介紹參看：

論文閱讀筆記: Cyclical Learning Rates For Training Neural Networks

Cyclical Learning Rates For Training Neural Networks 2017 Leslie N. Smith 本文貢獻: 提出一種新的名為cyclical learning rates的方式來設定學習率,並以此消除了在全域性學習率最優值選擇和選取策略上過多依賴於

Nearest cluster-based intrusion detection through convolutional neural networks 筆記

Nearest cluster-based intrusion detection through convolutional neural networks 技術要點 So, the primary innovation of this study is the definition ofa new deep learning pipeline, that couples the ch

半監督-Learning Discrete Structures for Graph Neural Networks

標籤：圖神經網路動機圖神經網路主要優點是能夠在資料點之間結合稀疏和離散的依賴關係, 但是, 圖神經網路也只能在這樣的圖結構進行使用, 而在真實的世界中的圖通常是帶有噪聲和不完整的, 或者根本不可用的

Learning local feature descriptors with triplets and shallow convolutional neural networks 論文閱讀筆記

Learning local feature descriptors with triplets and shallow convolutional neural networks 題目翻譯：學習 local feature descriptors使用 triplets 還有淺的卷積神經網路。讀罷此文，只覺收穫滿滿，同時另

卷積神經網路(Convolutional Neural Networks,CNN)

1、原理 1.1、基本結構卷積神經網路（Convolutional Neural Networks,CNN）是深度學習中的一種網路，它和其他神經網路最大的區別在於其獨特的卷積層。通常情況下它是由多層網路組合而成，每層又包含由特徵圖組成的多

論文筆記_S2D.21_Deep Convolutional Neural Fields for Depth Estimation from a Single Image

本篇論文的優勢： ①我們不採用任何這些啟發式方法改進我們的結果，但我們就相對誤差而言取得了更好的結果。 ②為了克服過擬合，其他方法必須收集數以百萬計的帶有附加標籤的影象訓練他們的模型。一個可能的

Relation-Shape Convolutional Neural Network for Point Cloud Analysis 論文解讀

Abstract 1.點雲不規則點所表示的形狀是很難分析的，本文將規則的卷積操作應用了不規則的點雲分析上，稱為Relation-Shape Convolutional Neural Network，主要是為了學習點和點之間的幾何拓撲限制。

論文閱讀筆記《A semi-supervised CNN based method for steel surface defect recognition》

核心思想本文提出一種半監督的鋼鐵表面缺陷檢測方法（PLCNN），半監督的思路也比較常見，利用CNN對無標籤樣本進行預測，輸出偽標籤（Pseudo-Label），並將帶有偽標籤的樣本作為訓練樣本對網路進行進一

關於Training deep neural networks for binary communication with the Whetstone method的程式碼實現

技術標籤：文獻閱讀脈衝神經網路 GitHub網址如下： https://github.com/SNL-NERL/Whetstone/blob/master/examples/adaptive_mnist.py 實現過程中解決的問題： 1.Ubuntu下，python+TensorFlow+Keras版本問題經檢

TARGETDROP: A TARGETED REGULARIZATION METHOD FOR CONVOLUTIONAL NEURAL NETWORKS