深度學習常用運算元（一）（轉）
轉自：https://blog.csdn.net/zhuhaodonglei/article/details/100013802
1、起始輸入
Data：輸入資料第一層
2、啟用運算元
作用：引入非線性（通常需要區分的區域，直線是無法完全區分的）
1）Relu
公式：ReLU(x)=max(0,x)
2）LeakyRelu
公式：LeakyRelu(x) = (x >= 0 ? x : x*negative_slope);
3）Relu6
公式：LeakyRelu(x) = max(max(x, 0), 6);
4）Tan
公式：tanh(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x));
5）sigmoid
公式：sigmoid(x) = 1. / (1. + exp(x))
6）PRelu
公式：f(x) = max(x, 0) + slope_data[c] * min(x, 0);
3、兩個Tensor計算
1）+、-、*、/：Add、Sub、Mul、RealDiv
2）BiasAdd：用於增加bias操作，通常bias是一維Tensor
3）MatMul：矩陣乘
4）Axpy：向量求和，公式：y += a * x
4、多個Tensor計算
EltwiseOp
作用：多個Tensor對應位置元素進行相乘、相加、取最大值中一種操作
5、歸一化
1）BatchNorm
參考：https://blog.csdn.net/life_is_amazing/article/details/51839438
作用：加快神經網路的訓練收斂速度
2）LRN
全稱：Local Response Normalization，即區域性響應歸一化層
作用：
LRN這個概念和運用是出現在AlexNet中。
LRN最初是生物學裡的概念“相鄰神經元抑制”，對區域性神經元的活動建立競爭機制。
使用LRN增加了泛化能力（使輸出中響應比較大的值變得相對更大，並抑制其他響應較小的神經元），做了平滑處理，提高了1%~2%的識別率。
其他：
在2015年的《Very Deep Convolutional Networks for Large-Scale Image Recognition》中，說明了LRN在IILSVRC資料集上不能對效能進行改善。
主流的模型中基本不使用LRN。
3）SsdNormalize
作用：限制了一次歸一化的範圍
使用網路：SSD
6、特徵提取
1）Convolution
作用：分割槽域進行特徵值提取
2）FullConnection
作用：
看作一種特殊卷積層，或者看作矩陣乘；整個輸入作為feature map，進行特徵提取
FC是一種遷移學習的結果，具體作用參考：https://www.zhihu.com/question/41037974
通常FC後面接Softmax，所以FC層的功能還包括矩陣維度變換，將維度變換為Softmax對應的維度
3）Correlation
與Convolution的區別，參考：https://www.cnblogs.com/linyuanzhou/p/4846499.html
4）DeConvolution
參考：https://www.jianshu.com/p/91e07efe2f32
作用：將一個低維度的空間對映到高維度，同時保持他們之間的連線關係/模式
5）DepConvolution
參考：https://baijiahao.baidu.com/s?id=1625255860317955368&wfr=spider&for=pc
作用：採用分步計算的方法，完成普通3D核的計算，其好處在於提升卷積計算的效率
7、防過擬合
1）Pooling
作用：Pooling的作用是將輸入的影象劃分為若干個矩形區域，對每個子區域輸出最大值或平均值。Pooling減少了引數的數量，防止過擬合現象的發生。
2）Mean
作用：只有取均值功能的滑窗運算元
3）ROIPooling
參考：https://blog.csdn.net/u011436429/article/details/80279536
作用：對ROI進行pooling操作，從不同大小的方框得到固定大小相應 的feature maps
使用網路：Faster RCNN
4）ROIAlign
作用：解決ROIPooling兩次量化帶來的問題，使用線性插值的方式來解決。
使用網路：Mask-RCNN
5）PSROIPooling
參考：https://blog.csdn.net/wfei101/article/details/80766812
使用網路：R-FCN
————————————————
版權宣告：本文為CSDN博主「gapostal」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處連結及本宣告。
原文連結：https://blog.csdn.net/zhuhaodonglei/article/details/100013802