深度學習框架caffe學習教程
Caffe是一個清晰而高效的深度學習框架，本文詳細介紹了caffe的優勢、架構、網路定義、各層定義，caffe的安裝與配置，解讀了caffe實現的影象分類
模型AlexNet，並演示了CIFAR-10在caffe上進行訓練與學習。
Caffe是純粹的C++/CUDA架構，支援命令列、Python和MATLAB介面；可以在CPU和GPU直接無縫切換：
Caffe的優勢
- 上手快：模型與相應優化都是以文字形式而非程式碼形式給出。
Caffe給出了模型的定義、最優化設定以及預訓練的權重，方便立即上手。 - 速度快：能夠執行最棒的模型與海量的資料。
Caffe與cuDNN結合使用，測試AlexNet模型，在K40上處理每張圖片只需要1.17ms. - 模組化：方便擴充套件到新的任務和設定上。
可以使用Caffe提供的各層型別來定義自己的模型。 - 開放性：公開的程式碼和參考模型用於再現。
- 社群好：可以通過BSD-2參與開發與討論。
Caffe的網路定義
Caffe中的網路都是有向無環圖的集合，可以直接定義：
資料及其導數以blobs的形式在層間流動。
Caffe的各層定義
Caffe層的定義由2部分組成：層屬性與層引數，例如 這段配置檔案的前4行是層屬性，定義了層名稱、層型別以及層連線結構（輸入blob和輸出blob）；而後半部分是各種層引數。Blob
Blob是用以儲存資料的4維陣列，例如
- 對於資料：Number*Channel*Height*Width
- 對於卷積權重：Output*Input*Height*Width
- 對於卷積偏置：Output*1*1*1
訓練網路
網路引數的定義也非常方便，可以隨意設定相應引數。
甚至呼叫GPU運算只需要寫一句話：
Caffe的安裝與配置
Caffe需要預先安裝一些依賴項，首先是CUDA驅動。不論是CentOS還是Ubuntu都預裝了開源的nouveau顯示卡驅動（SUSE沒有這種問題），如果不禁用，則CUDA驅動不能正確安裝。以Ubuntu為例，介紹一下這裡的處理方法，當然也有其他處理方法。
生成mnist-train-leveldb/ 和 mnist-test-leveldb/，把資料轉化成leveldb格式：
訓練網路:
安裝了CUDA之後，依次按照Caffe官網安裝指南安裝BLAS、OpenCV、Boost即可。
Caffe跑跑MNIST試試
在Caffe安裝目錄之下，首先獲得MNIST資料集：
生成mnist-train-leveldb/ 和 mnist-test-leveldb/，把資料轉化成leveldb格式：
訓練網路:
讓Caffe生成的資料集能在Theano上直接執行
不論使用何種框架進行CNNs訓練，共有3種資料集：
- Training Set：用於訓練網路
- Validation Set：用於訓練時測試網路準確率
- Test Set：用於測試網路訓練完成後的最終正確率
Caffe生成的資料分為2種格式：Lmdb和Leveldb
- 它們都是鍵/值對（Key/Value Pair）嵌入式資料庫管理系統程式設計庫。
- 雖然lmdb的記憶體消耗是leveldb的1.1倍，但是lmdb的速度比leveldb快10%至15%，更重要的是lmdb允許多種訓練模型同時讀取同一組資料集。
- 因此lmdb取代了leveldb成為Caffe預設的資料集生成格式。
Google Protocol Buffer的安裝
新增動態連結庫
Lmdb的安裝
要parse（解析）一個protobuf型別資料，首先要告訴計算機你這個protobuf資料內部是什麼格式（有哪些項，這些項各是什麼資料型別的決定了佔用多少位元組，這些項可否重複，重複幾次），安裝protobuf這個module就可以用protobuf專用的語法來定義這些格式（這個是.proto檔案）了，然後用protoc來編譯這個.proto檔案就可以生成你需要的目標檔案。
想要定義自己的.proto檔案請閱讀：
https://developers.google.com/protocol-buffers/docs/proto?hl=zh-cn
編譯.proto檔案
Caffe (CNN, deep learning) 介紹
Caffe -----------Convolution Architecture For Feature Embedding (Extraction)
- Caffe 是什麼東東？
- CNN (Deep Learning) 工具箱
- C++ 語言架構
- CPU 和GPU 無縫交換
- Python 和matlab的封裝
- 但是，Decaf只是CPU 版本。
-
為什麼要用Caffe？
- 運算速度快。簡單 友好的架構 用到的一些庫：
- Google Logging library (Glog): 一個C++語言的應用級日誌記錄框架，提供了C++風格的流操作和各種助手巨集.
- lebeldb(資料儲存)： 是一個google實現的非常高效的kv資料庫，單程序操作。
- CBLAS library（CPU版本的矩陣操作）
- CUBLAS library (GPU 版本的矩陣操作)
-
Caffe 架構
- 預處理影象的leveldb構建
輸入：一批影象和label （2和3）
輸出：leveldb （4）
指令裡包含如下資訊：- conver_imageset （構建leveldb的可執行程式）
- train/ （此目錄放處理的jpg或者其他格式的影象)
- label.txt (影象檔名及其label資訊)
- 輸出的leveldb資料夾的名字
- CPU/GPU (指定是在cpu上還是在gpu上執行code)
-
CNN網路配置檔案
- Imagenet_solver.prototxt （包含全域性引數的配置的檔案）
- Imagenet.prototxt （包含訓練網路的配置的檔案）
- Imagenet_val.prototxt （包含測試網路的配置檔案）
Caffe深度學習之影象分類模型AlexNet解讀
在imagenet上的影象分類challenge上Alex提出的alexnet網路結構模型贏得了2012屆的冠軍。要研究CNN型別DL網路模型在影象分類上的應用，就逃不開研究alexnet，這是CNN在影象分類上的經典模型（DL火起來之後）。
在DL開源實現caffe的model樣例中，它也給出了alexnet的復現，具體網路配置檔案如下train_val.prototxt
接下來本文將一步步對該網路配置結構中各個層進行詳細的解讀（訓練階段）：
從計算該模型的資料流過程中，該模型引數大概5kw+。
-
conv1階段DFD（data flow diagram）：
-
conv2階段DFD（data flow diagram）：
-
conv3階段DFD（data flow diagram）：
-
conv4階段DFD（data flow diagram）：
-
conv5階段DFD（data flow diagram）：
-
fc6階段DFD（data flow diagram）：
-
fc7階段DFD（data flow diagram）：
-
fc8階段DFD（data flow diagram）：
CIFAR-10在caffe上進行訓練與學習
使用資料庫：CIFAR-10
60000張 32X32 彩色影象 10類，50000張訓練，10000張測試
準備
在終端執行以下指令：
其中CAFFE_ROOT是caffe-master在你機子的地址
執行之後，將會在examples中出現數據庫檔案./cifar10-leveldb和資料庫影象均值二進位制檔案./mean.binaryproto
模型
該CNN由卷積層，POOLing層，非線性變換層，在頂端的區域性對比歸一化線性分類器組成。該模型的定義在CAFFE_ROOT/examples/cifar10 directory’s cifar10_quick_train.prototxt中，可以進行修改。其實字尾為prototxt很多都是用來修改配置的。
訓練和測試
訓練這個模型非常簡單，當我們寫好引數設定的檔案cifar10_quick_solver.prototxt和定義的檔案cifar10_quick_train.prototxt和cifar10_quick_test.prototxt後，執行train_quick.sh或者在終端輸入下面的命令：
即可，train_quick.sh是一個簡單的指令碼，會把執行的資訊顯示出來，培訓的工具是train_net.bin,cifar10_quick_solver.prototxt作為引數。
然後出現類似以下的資訊：這是搭建模型的相關資訊
接著：
之後，訓練開始
其中每100次迭代次數顯示一次訓練時lr(learningrate),和loss（訓練損失函式），每500次測試一次，輸出score 0（準確率）和score 1（測試損失函式）
當5000次迭代之後，正確率約為75%，模型的引數儲存在二進位制protobuf格式在cifar10_quick_iter_5000
然後，這個模型就可以用來執行在新資料上了。
其他
另外，更改cifar*solver.prototxt檔案可以使用CPU訓練，
可以看看CPU和GPU訓練的差別。