1x1的卷積能做什麼呢?
所謂通道壓縮,Network in Network是怎麼做到的?
對於如下的二維矩陣,做卷積,相當於直接乘以2,貌似看上去沒什麼意義。
但是,對於下面這種32通道的資料,如果我用1個1x1x32的卷積核與其做卷積運算,得到的就是1個6x6的矩陣。
在這個過程中,發生瞭如下的事情:
- (1)遍歷36個單元格(6x6)
- (2)計算左圖中32個通道中截面與卷積核中32個元素的乘積
- (3)此時得到的結果,仍然是6x6x32的矩陣
- (4)每個6x6的矩陣都疊加起來,得到一個6x6的矩陣
- (5)接下來用Relu函式作用於這個6x6的矩陣
- (6)得到6x6的輸出
同理,如果我用N個1x1x32的卷積核與其做卷積運算,得到的就是N個6x6的矩陣。
所以,1x1的卷積,可以從根本上理解為:有一個全連線的神經網路,作用在了不同的32個位置上。
這種做法,通常稱為1x1卷積
或Network in Network
。它的主要作用,就是降低通道數量
。如下圖
28x28x192的資料,被32個1x1x192的卷積核作用後,就變為28x28x32的資料。這也就是所謂通道壓縮
,通道降維
。當然如果你願意,也可以增加通道維度。這在Inception網路中很有用。
本篇參考了AndrewNG的Deep Learning課程。
相關推薦
1x1的卷積能做什麼呢?
所謂通道壓縮,Network in Network是怎麼做到的? 對於如下的二維矩陣,做卷積,相當於直接乘以2,貌似看上去沒什麼意義。 但是,對於下面這種32通道的資料,如果我用1個1x1x32的卷積核與其做卷積運算,得到的就是1個6x6的矩陣。
CNN 中, 1X1卷積核到底有什麼作用呢?
我來說說我的理解,我認為1×1的卷積大概有兩個方面的作用吧:1. 實現跨通道的互動和資訊整合2. 進行卷積核通道數的降維和升維下面詳細解釋一下:1. 這一點孫琳鈞童鞋講的很清楚。1×1的卷積層(可能)引起人們的重視是在NIN的結構中,論文中林敏師兄的想法是利用MLP代替傳統的線性卷積核,從而提高網路的表達能力
1x1卷積
技術 運行 jpg 們的 inf .com 一個 關註 結構 你可能會想為什麽有人會用1x1卷積,因為它關註的不是一塊像素,而是一個像素,圖1 圖1 我們看看傳統的卷積,它基本上是運行在一個小塊圖像上的小分類器,但僅僅是個線性分類器。圖2 圖2 如果你在中間加一個1x1
CNN 中, 1X1卷積核到底有什麽作用
復雜 論文 減少 tail 單個 並行 work inception con 轉自https://blog.csdn.net/u014114990/article/details/50767786 從NIN 到Googlenet mrsa net 都是用了這個,為什麽呢 發
1x1卷積核的理解
1x1卷積核的作用主要有兩點: 1、實現跨通道的資訊融合 2、實現通道數的升維與降維 3、增加網路的非線性 實現跨通道資訊的融合:加入當前層的特徵矩陣為224x224x100,而下一層想要得到224x224x50,這時就可以通過1x1的卷積核進行跨通道資訊融合,當然這時也
【深度學習】1x1卷積的作用
1x1卷積最初引起研究者的重視應該是在Network in Network這篇文章裡,後面在GoogLeNet和ResNet中都使用了1x1卷積,那麼1x1卷積到底有什麼用呢? 我認為主要作用有三點:
CNN: 1x1卷積層的精妙之處
現在各種神經網路都會用到1x1 conv,它到底起到什麼作用呢?要回答這個問題,先從最經典的Inception模型說起,Figure 1是Inception-ResNet-v2的block架構圖。 作用一:改變矩陣維度 block中每個sublayer的第一
卷積神經網路中1x1卷積的作用
1. 來源 [1312.4400] Network In Network (如果1×1卷積核接在普通的卷積層後面,配合啟用函式,即可實現network in network的結構) 2. 應用 GoogleNet中的Inception、ResNet中的殘差模組
CNN中1X1卷積的作用
idea1 1.進行卷積核通道數的升維降維,相當於在channel方向上進行壓縮,減少引數;(計算具體見連線) 2.旨在對每個空間位置的D維向量做一個相同的線性變換,增加非線性; idea2 1.增加模型深度,一定程度上提升模型的表徵能力; 2.1*1chann
1X1卷積的作用
上圖原來輸入是6個feature,然後經過1x1的卷積核(實質是經過學習到的6個權重調節的線性疊加)得到一個特徵圖F11有四個1X1的卷積核,則得到4個特徵圖,分別為F11,F12,F13,F14。這樣原來的6個特徵圖,變為了4個特徵圖,實現了降維。同樣 如果卷積核
卷積到底是如何操作的?1x1卷積?引數如何計算?
目錄 卷積的特性 卷積到底是如何操作的 1. 對於一個特徵圖(如灰度圖) 卷積就是對應元素乘積的求和,然後在加上一個非線性函式。 但是上面的例子只有一個輸入channel和一個卷積核,當有很多channel和多個卷積核
一文讀懂卷積神經網路中的1x1卷積核
前言 在介紹卷積神經網路中的1x1卷積之前,首先回顧卷積網路的基本概念[1]。 卷積核(convolutional kernel):可以看作對某個區域性的加權求和;它是對應區域性感知,它的原理是在觀察某個物體時我們既不能觀察每個畫素也不能一次觀察整體,而是
以V1中Inception Module為例說明1x1卷積核的作用
http://blog.csdn.net/u014114990/article/details/50767786 http://blog.csdn.net/u014114990/article/details/50767786
1X1卷積核到底有什麼作用
1*1的卷積核在NIN、Googlenet中被廣泛使用,但其到底有什麼作用也是一直困擾的問題,這裡總結和歸納下在網上查到的自認為很合理的一些答案,包括1)跨通道的特徵整合2)特徵通道的升維和降維 3)減少卷積核引數(簡化模型) 部分轉載自caffe.cn 作用:1. 實
Tensorflow框架初嘗試————搭建卷積神經網絡做MNIST問題
過擬合 dict cast 官方文檔 float hot blog next 神經網絡 Tensorflow是一個非常好用的deep learning框架 學完了cs231n,大概就可以寫一個CNN做一下MNIST了 tensorflow具體原理可以參見它的官方文檔 然後C
Spark應用領域廣泛,能做什麽呢?
Spark Hadoop 大數據開發 Spark能做什麽?Spark應用領域Spark是大數據技術中數據計算處理的王者,能夠一次處理PB級的數據,分布在數千個協作的物理或虛擬服務器集群中,它有一套廣泛的開發者庫和API,並且支持Java,Python,R和Scala等語言,其靈活的特性,適合各種環
小白也能做的IP代理池,好久沒更新了,不知道你們想看什麽呢!
不知道 一個 pytho 爬取 save 包含著 異步處理 使用方法 gen IP代理池制作 GitHub主頁: https://github.com/hfldqwe/ 使用工具: ip代理抓取: requests 後臺搭建: Django+Redis 代理檢測: ip
Java到底能做什麼事情呢?
Java這門語言是相當受歡迎的,對於處於資訊高速發達的今天,Java技術已經無處不在,手機軟體、手機Java遊戲、電腦軟體、大資料等等都有它的身影。那麼,Java到底能做什麼事情呢?市場上什麼工作崗位跟Java有關。下面,小編和大家一起看看Java開發能做的9件事! 1、大資料技術 Had
卷積神經網路做mnist資料集識別
TensorFlow是一個非常強大的用來做大規模數值計算的庫。其所擅長的任務之一就是實現以及訓練深度神經網路。 在本教程中,我們將學到構建一個TensorFlow模型的基本步驟,並將通過這些步驟為MNIST構建一個深度卷積神經網路。 這個教程假設你已經熟悉神經網路和MNI
在這個網際網路加的時代,我們能做些什麼呢?
在這個網際網路加時代,大眾創業,萬眾創新,你是否也曾有過點小激動,是否也曾有過些想法?但冷靜之餘,我們是否應該思索點什麼?我們能夠做些什麼呢? 前陣子,微商,微店,微傳銷,忽然之間鋪天蓋地而來,各種資訊目不暇接,最近這段時間,感覺好多了。現在