深度學習基礎--卷積--區域性連線層(Locally-Connected Layer)
區域性連線層(Locally-Connected Layer)
locally-conv的概念來自傳統ML中的模型初始化(隨機樹方法中每個影象的crop都對應特定的一棵樹)。
引數共享這個策略並不是每個場景下都合適的。有一些特定的場合,我們不能把圖片上的這些視窗資料都視作作用等同的。(特別是當卷積神經網路的輸入影象是一些明確的中心結構時候。)
當影象區域性相似匹配時,我們就應該期望在圖片的不同位置學習到完全不同的特徵。
什麼時候用local-conv?什麼時候用全卷積(每一個點用同一個filter)?
當資料集具有全域性的區域性特徵分佈時,也就是說區域性特徵之間有較強的相關性,適合用全卷積。在不同的區域有不同的特徵分佈時,適合用local-Conv。
典型例子就是人臉識別
在這個例子中,通常就放鬆引數共享的限制。
一般人的面部都集中在影象的中央,你可能期望不同的特徵,比如眼睛特徵或者頭髮特徵可能(也應該)會在圖片的不同位置被學習。
因此我們希望,資料視窗滑過這塊區域的時候,權重和其他邊緣區域是不同的。
相關推薦
深度學習基礎--卷積--區域性連線層(Locally-Connected Layer)
區域性連線層(Locally-Connected Layer) locally-conv的概念來自傳統ML中的模型初始化(隨機樹方法中每個影象的crop都對應特定的一棵樹)。 引數共享這個策略並不是每個場景下都合適的。有一些特定的場合,我們不能把圖片上的這些視窗資料都視作作用等同
深度學習基礎--卷積--1*1的卷積核與全連線的區別
1*1的卷積核與全連線的區別 11的卷積核是輸入map大小不固定的;而全連線是固定的。 11卷積的主要作用有以下兩點: 1)降維( dimension reductionality ),inception中就是這個用。 2)加入非線性,畢竟有啟用
深度學習基礎--卷積神經網路的不變性
卷積神經網路的不變性 不變性的實現主要靠兩點:大量資料(各種資料);網路結構(pooling) 不變性的型別 1)平移不變性 卷積神經網路最初引入區域性連線和空間共享,就是為了滿足平移不變性。 關於CNN中的平移不變性的來源有多種假設。 一個想法是平移不變性
深度學習基礎--卷積--為什麼卷積核時4維的
為什麼卷積核時4維的 因為本來就是4維的,input_channelkernel_sizekernel_size*output_channel 正常來說,引數的個數不是隻和卷積核大小及數量有關嗎,256個1通道的55的卷積核引數應該是256155吧,和輸入的特徵圖數量應該沒有
深度學習基礎--卷積--反捲積(deconvolution)
反捲積(deconvolution) 這個概念很混亂,沒有統一的定義,在不同的地方出現,意義卻不一樣。 上取樣的卷積層有很多名字: 全卷積(full convolution), 網路內上取樣( in-network upsampling), 微步幅卷積(fractio
深度學習基礎--卷積--加速的卷積運算
加速的卷積運算 convolution在GPU上如何實現,文中介紹了三種方法 1)最直觀的方法是直接實現(即一般的卷積運算) 缺點:這種實現呢需要處理許多的corner case。 文中介紹cuda-convnet2是實現了該種方法,該種方法在不同取值的卷積引數空間效
深度學習基礎--卷積計算和池化計算公式
卷積計算和池化計算公式 卷積 卷積計算中,()表示向下取整。 輸入:n* c0* w0* h0 輸出:n* c1* w1* h1 其中,c1就是引數中的num_output,生成的特徵圖個數。 w1=(w0+2pad-kernel_size)/stride+1;
深度學習基礎--卷積--1D/2D/3D卷積簡介
1D/2D/3D卷積簡介 他們處理的都是input tensor前幾個維度的資訊。 1)1D主要用於NLP中的N_gram,一維卷積又稱時域卷積。 2)2D和3D卷積用於影象。其中2D卷積處理的是一張影象,3D卷積處理的就是多張影象。3D卷積考慮時間
深度學習基礎--卷積--一般的卷積運算
一般的卷積運算 O是輸出input feature map,F是filter, D0是input feature map。 從公式看到如果用迴圈操作,需要7次迴圈,n,k,p,q4次可獨立迴圈,c,r,s是累加操作的迴圈。
【深度學習】卷積神經網路的卷積層和池化層計算
一、簡介 \quad\quad 卷積神經網路(Convolutional neural network, CNN),
【深度學習】卷積層提速Factorized Convolutional Neural Networks
Wang, Min, Baoyuan Liu, and Hassan Foroosh. “Factorized Convolutional Neural Networks.” arXiv preprint arXiv:1608.04337 (2016).
深度學習FPGA實現基礎知識10(Deep Learning(深度學習)卷積神經網路(Convolutional Neural Network,CNN))
第一點,在學習Deep learning和CNN之前,總以為它們是很了不得的知識,總以為它們能解決很多問題,學習了之後,才知道它們不過與其他機器學習演算法如svm等相似,仍然可以把它當做一個分類器,仍然可以像使用一個黑盒子那樣使用它。 第二點,Deep Learning強大的地方就是可以利用網路中間某一
深度學習——深卷積網絡:實例探究
技術分享 模塊 變化 技術 減少 開始 出了 經典 問題: 1. 三個經典網絡 紅色部分不重要,現在已經不再使用 這篇文章較早,比如現在常用max,而當時用avg,當時也沒有softmax 這篇文章讓CV開始重視DL的使用,相對於LeNet-5,它的優點有兩個:更大,使用
深度學習-conv卷積
mage www. dep vol 才有 splay 變換 還要 filter 過濾器(卷積核) 傳統的圖像過濾器算子有以下幾種: blur kernel:減少相鄰像素的差異,使圖像變平滑。 sobel:顯示相鄰元素在特定方向上的差異。 sharpen :強化相鄰像素的差
深度學習之卷積自編碼器
一、自編碼器 自編碼器(Autoencoder)是一種旨在將它們的輸入複製到的輸出的神經網路。他們通過將輸入壓縮成一種隱藏空間表示(latent-space representation),然後這種重構這種表示的輸出進行工作。這種網路由兩部分組成,如下圖: 編碼器:將輸入壓縮為潛在空間
深度學習:卷積,反池化,反捲積,卷積可解釋性,CAM ,G_CAM
憑什麼相信你,我的CNN模型?(篇一:CAM和Grad-CAM):https://www.jianshu.com/p/1d7b5c4ecb93 憑什麼相信你,我的CNN模型?(篇二:萬金油LIME):http://bindog.github.io/blog/2018/02/11/model-ex
深度學習:卷積神經網路,卷積,啟用函式,池化
卷積神經網路——輸入層、卷積層、啟用函式、池化層、全連線層 https://blog.csdn.net/yjl9122/article/details/70198357?utm_source=blogxgwz3 一、卷積層 特徵提取 輸入影象是32*32*3,3是它的深度(即R
深度學習筆記——卷積神經網路
程式碼參考了零基礎入門深度學習(4) - 卷積神經網路這篇文章,我只對程式碼裡可能存在的一些小錯誤進行了更改。至於卷積神經網路的原理以及程式碼裡不清楚的地方可以結合該文章理解,十分淺顯易懂。 import numpy as np from functools import reduce fro
【深度學習】卷積神經網路
講卷積神經網路之前說說為什麼能夠進行分類識別?按照傳統的SIFT,HOG演算法都是先進行特徵的提取過程,那麼卷積神經網路怎麼進行特徵的提取呢? 下面,我們就開始吧! 先提一個小問題:“你是通過什麼瞭解這個世界的?” 當一輛汽車從你身邊疾馳而過,你是通過哪些資訊知道那是一
深度學習影象卷積後的尺寸計算公式
輸入圖片大小 W×W Filter大小 F×F 步長 S padding的畫素數 P 於是我們可以得出: N = (W − F + 2P )/S+1 輸出圖片大小為 N×N 如:輸入影象為5*5*3,Filter為3*3*3,在zero pad 為1,步長 S=1 (可先忽略這條