caffe與caffe安裝教程
第一部分:Caffe 簡介
caffe是有伯克利視覺和學習中心(BVLC)開發。作者是伯克利博士賈楊清。
caffe是一個深度學習(deep learning)框架。其具有易讀、快速和模組化思想。
Ubuntu安裝
在安裝之前,請仔細閱讀本指南,並記下您的平臺的詳細資訊。 我們在Ubuntu 16.04-12.04,OS X 10.11-10.8和Docker和AWS上安裝並執行Caffe。 官方Makefile和Makefile.config構建由社群CMake構建來補充。
分步說明:
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-all-dev
CUDA:由apt-get或NVIDIA .run軟體包安裝。 NVIDIA軟體包往往遵循更多的庫和驅動程式版本,但安裝更為手動。 如果從包裝安裝,請分別安裝庫和最新的驅動程式; 與依賴庫捆綁的驅動程式通常是過時的。 可以跳過CPU僅安裝。
一般依賴
BLAS:
install ATLAS by sudo apt-get install libatlas-base-dev
or
install OpenBLAS by sudo apt-get install libopenblas-dev
or
MKL for better CPU performance.
Python(可選):如果您使用預設的Python,您需要安裝apt-get安裝python-dev軟體包以構建pycaffe介面的Python頭。
相容性說明,16.04
Ubuntu 16.04需要CUDA 8。
剩餘依賴,14.04
一切都包裝在14.04。
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
剩餘依賴,12.04這些依賴需要在12.04手工安裝。
# glog wget https://github.com/google/glog/archive/v0.3.3.tar.gz tar zxvf v0.3.3.tar.gz cd glog-0.3.3 ./configure make && make install # gflags wget https://github.com/schuhschuh/gflags/archive/master.zip unzip master.zip cd gflags-master mkdir build && cd build export CXXFLAGS="-fPIC" && cmake .. && make VERBOSE=1 make && make install # lmdb git clone https://github.com/LMDB/lmdb cd lmdb/libraries/liblmdb make && make install
請注意,glog不會使用最新的gflags版本(2.1)進行編譯,因此在解決之前,您需要先使用glog進行編譯。
2.2.2:apt-get 簡介:
apt-get是一條linux命令,適用於deb包管理式的作業系統,主要用於自動從網際網路的軟體倉庫中搜索、安裝、升級、解除安裝軟體或作業系統。
2.3 所需要的庫簡介:
2.3.1 snappy
Snappy 是一個 C++ 的用來壓縮和解壓縮的開發包。其目標不是最大限度壓縮或者相容其他壓縮格式,而是旨在提供高速壓縮速度和合理的壓縮率。Snappy 比 zlib 更快,但檔案相對要大 20% 到 100%。在 64位模式的 Core i7 處理器上,可達每秒 250~500兆的壓縮速度。
2.3.2 leveldb
Leveldb是一個google實現的非常高效的kv資料庫,目前的版本1.2能夠支援billion級別的資料量了。 在這個數量級別下還有著非常高的效能,主要歸功於它的良好的設計。特別是LSM演算法.
2.3.3 gflags
gflags是google的一個開源的處理命令列引數的庫,使用c++開發,具備python介面,可以替代getopt。
gflags使用起來比getopt方便,但是不支援引數的簡寫。
2.3.4 glog
Google Glog 是一個C++語言的應用級日誌記錄框架,提供了 C++ 風格的流操作和各種助手巨集。
2.3.5 szip
szip是一個快速,優良,跨平臺的開源資料壓縮程式。
2.3.6 lmdb
lmdb是openLDAP專案開發的嵌入式(作為一個庫嵌入到宿主程式)儲存引擎。
2.3.7 hdf5
Hierarchical Data Format(HDF),可以儲存不同型別的影象和數碼資料的檔案格式,並且可以在不同型別的機器上傳輸,同時還有統一處理這種檔案格式的函式庫。大多數普通計算機都支援這種檔案格式。
2.3.8 opencv
OpenCV的全稱是:Open Source Computer Vision Library。OpenCV是一個基於BSD許可(開源)發行的跨平臺計算機視覺庫,可以執行在Linux、Windows、Android和Mac OS作業系統上。它輕量級而且高效——由一系列 C 函式和少量 C++ 類構成,同時提供了Python、Ruby、MATLAB等語言的介面,實現了影象處理和計算機視覺方面的很多通用演算法。
OpenCV用C++語言編寫,它的主要介面也是C++語言,但是依然保留了大量的C語言介面。該庫也有大量的Python, Java and MATLAB/OCTAVE (版本2.5)的介面。這些語言的API介面函式可以通過線上文件獲得。如今也提供對於C#,Ch, Ruby的支援。
2.3.9 protobuf
protocolbuffer是google 的一種資料交換的格式,它獨立於語言,獨立於平臺。google 提供了多種語言的實現:java、c#、c++、go 和 python,每一種實現都包含了相應語言的編譯器以及庫檔案。由於它是一種二進位制的格式,比使用 xml 進行資料交換快許多。可以把它用於分散式應用之間的資料通訊或者異構環境下的資料交換。作為一種效率和相容性都很優秀的二進位制資料傳輸格式,可以用於諸如網路傳輸、配置檔案、資料儲存等諸多領域。
2.3.10 Boost
Boost庫是為C++語言標準庫提供擴充套件的一些C++程式庫的總稱。
第三部分 Caffe編譯
Caffe可以用Make或CMake編譯。 Make由官方支援,而CMake由社群支援。
編譯與Make
通過複製和修改您的設定的Makefile.config示例來配置構建。 預設值應該有效,但如果使用Anaconda Python,則取消註釋相關行。
cp Makefile.config.example Makefile.config
# Adjust Makefile.config (for example, if using Anaconda Python, or if cuDNN is desired)
make all
make test
make runtest
對於CPU和GPU加速Caffe,不需要更改。對於使用NVIDIA專有的cuDNN軟體的cuDNN加速,取消註釋Makefile.config中的USE_CUDNN:= 1開關。 cuDNN有時並不總是比Caffe的GPU加速更快。
對於只有CPU的Caffe,在Makefile.config中取消註釋CPU_ONLY:= 1。
要編譯Python和MATLAB包裝器,分別做pycaffe和matcaffe。 請務必先將您的MATLAB和Python路徑放在Makefile.config中!分發:執行make分發以建立分發目錄,其中包含分發給其他計算機所需的所有Caffe頭,編譯庫,二進位制檔案等。
速度:為了更快的構建,通過make make -j8並行編譯,其中8是編譯的並行執行緒數(執行緒數是機器中的核心數量的好選擇)。
現在您已經安裝了Caffe,請檢視MNIST教程和參考ImageNet模型教程。
Caffe有幾個依賴:
GPU模式需要CUDA。
版本7+和最新的驅動程式版本是推薦,但6. *也不錯
5.5和5.0是相容的,但被認為是遺產
OpenCV> = 2.4,包括3.0
IO庫:lmdb,leveldb(注意:leveldb需要snappy)
用於GPU加速的cuDNN(v6)
cuDNN Caffe:最快的操作Caffe通過NVIDIA cuDNN的下載整合加速。 為了加快您的Caffe型號,請安裝cuDNN,然後在安裝Caffe時取消對Makefile.config中的USE_CUDNN:= 1標誌。 加速是自動的。 當前版本是cuDNN v6; 舊的Caffe支援舊版本。
僅CPU CPU Caffe:用於冷凍CPU僅Caffe取消註釋Makefile.config中的CPU_ONLY:= 1標誌來配置和構建沒有CUDA的Caffe。 這有助於雲或群集部署。
CUDA and BLAS
Caffe需要CUDA nvcc編譯器來編譯其GPU程式碼和用於GPU操作的CUDA驅動程式。 要安裝CUDA,請訪問NVIDIA CUDA網站,並按照安裝說明進行操作。 單獨安裝庫和最新的獨立驅動程式; 與圖書館捆綁的驅動程式通常是過時的。 警告! 331. * CUDA驅動程式系列具有關鍵的效能問題:不要使用它。
Caffe需要BLAS作為其矩陣和向量計算的後端。 這個庫有幾個實現。 這是你的選擇:
- ATLAS: free, open source, and so the default for Caffe.
- Intel MKL: commercial and optimized for Intel CPUs, with free licenses.
-
OpenBLAS:
free and open source; this optimized and parallel BLAS could require more effort to install, although it might offer a speedup.
- Install OpenBLAS
-
Set
BLAS := open
inMakefile.config
make clean 清理 重新編譯caffe
CMake構建
代替手動編輯Makefile.config來配置構建,Caffe提供非官方的CMake構建,感謝@Nerei,@akosiorek和社群其他成員。 它需要CMake版本=
2.8.7。 基本步驟如下:
mkdir build
cd build
cmake ..
make all
make install
make runtest
實驗室測試硬體:Berkeley Vision使用Titan Xs,K80s,GTX 980s,K40s,K20s,Titans和GTX 770s執行Caffe,包括ImageNet
/ ILSVRC規模的型號。 我們在CUDA能力> = 3.0的裝置內部沒有遇到任何麻煩。 所有報告的硬體問題遠遠都是由於GPU配置,過熱等原因。
CUDA計算能力:具有計算能力<= 2.0的裝置可能由於硬體限制而減少CUDA執行緒號和批量大小。 小心沖泡; 我們建議計算能力> = 3.0。
第四部分 利用Caffe在MNIST資料集上進行LeNet訓練
4.1 MNIST簡介
MNISTs是一個手寫數位電子版的資料集,其包含60000張的訓練集,10000張的測試集,均為32*32格式。
4.2 LeNet簡介
LeNet是一個用來進行手寫數字分類的網路,作者是Yann LeCun。具體可以查詢:
在這裡使用時把原方法中的sigmoid啟用函式改成了ReLU啟用函式。
4.3 資料集準備
下載mnist資料集,終端輸入
-
cd /home//caffe/data/mnist/
./get_mnist.sh
獲取mnist資料集
在/home/pawn/caffe/data/mnist/
目錄下會多出訓練集圖片、訓練集標籤、測試集圖片和測試集標籤等4個檔案 -
mnist資料格式轉換,終端輸入
cd /home/pawn/caffe/
./examples/mnist/create_mnist.sh
必須要在第一行之後執行第二行,即必須要在caffe根目錄下執行create_mnist.sh
此時在/caffe/examples/mnist/
目錄下生成mnist_test_lmdb和mnist_train_lmdb兩個LMDB格式的訓練集和測試集 -
LeNet-5模型描述在
/caffe/examples/mnist/lenet_train_test.prototxt
-
Solver配置檔案在
/caffe/examples/mnist/lenet_solver.prototxt
-
訓練mnist,執行檔案在
/caffe/examples/mnist/train_lenet.sh
終端輸入cd /home/pawn/caffe/
./examples/mnist/train_lenet.sh
測試結果如下
http://blog.csdn.net/wopawn/article/details/52302164
Caffe+Ubuntu14.04+CUDA7.5安裝筆記
或者將$vim ~/.bashrc中最後加入如下,儲存
exportPYTHONPATH=/home/liyongfen/caffe/python:$PYTHONPATH
export PATH=~/anaconda2/bin:$PATH
4、
Conda install libgcc (過去新增的呦
相關推薦
caffe與caffe安裝教程
第一部分:Caffe 簡介 caffe是有伯克利視覺和學習中心(BVLC)開發。作者是伯克利博士賈楊清。 caffe是一個深度學習(deep learning)框架。其具有易讀、快速和模組化思想。 Ubuntu安裝 在安裝之前,請仔細閱讀本指南,並記下您的平臺
Android studio開發環境搭建教程與軟體安裝教程(從零開始學android)
學習Android開發的第一步是java環境搭建和android studio軟體的安裝。本文主要講解如何從零開始學android。 Android程式開發用的是java語言,所以我們要先在電腦上配置jdk(java development kit)環境,也即java開
odoo11與odoo12安裝教程
odoo11安裝 原始碼版本下載需要安裝python,postgre,node等一系列,對於部分開發者而言,安裝步驟過於繁瑣 因此可以安裝整合版本,下載這個版本,所有的都一鍵安裝完成,包括python資料庫等 設定好名字和使用者名稱後,勾選 Load
git與SourceTree安裝教程
1.安裝git客戶端以及相關工具 #sudo yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-devel git #git --version #如果能顯示版本號,
官方版caffe-Windows的安裝與測試
文章轉自:http://blog.sina.com.cn/s/blog_15e1762760102w9kc.html 筆者前幾天無意中發現,深度學習框架caffe-windows出了官方版本 ,對於眾多習慣使用windows機器的caffe使用者來說這無疑是福音,而且據說官方版的caffe-win
caffe安裝教程2
0.安裝一些基本依賴項: $ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler $ sudo apt
ubuntu14.04完整安裝caffe(GPU)教程
註釋: 由於網上很多連結並不適用本人機器,在參考他人的教程後,根據自己機器實際情況,安排瞭如下教程。 適用硬體要求:顯示卡GTX1050,1060,1070,1080系列 軟體:cuda8.0,cudnn5.1,opencv3.0 安裝過程: 安裝好ubuntu1
caffe安裝教程
這篇安裝指南,適合零基礎,新手操作,請高手勿要吐槽! 簡單介紹一下:Caffe,一種ConvolutionalNeural Network的工具包,和Alex的cuda-convnet功能類似,但各
Caffe實戰系列:最簡潔的Caffe安裝教程(以ubuntu14.04為例)
網上充斥各種安裝方法,但是都很繁瑣,特別是安裝顯示卡驅動以及依賴項,對於初學者不是很方便。我覺得采用包管理工具更方便因此寫下本文。 (1)首先安裝ssh,這樣能夠使用winscp和putty或者secure crt進行遠端連線,方便在windows下載東西傳到linu
caffe安裝教程之WIN7無GPU絕對能安裝成功的簡單版教程
第一步 下載caffe官網提供的工具包,複製Windows下CommonSettings.props.example,字尾改為CommonSettings.props,如下: 第二步 由於我電腦無GPU,所以修改複製過來的CommonSettings.props配置檔案: 第三步 雙擊Windows下
Ubuntu16.04+cuda8.0+caffe安裝教程
1、安裝nvidia驅動 執行如下語句,安裝 sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt-get update sudo apt-get install nvidia-367 s
全網最簡單!步驟超詳細!小白也能看懂的深度學習安裝教程(caffe版)!
想入門深度學習?可是環境就是裝不上?還在對著滿屏的errors抓耳撓腮? 不存在的!!! 小白福利——從零開始手把手教會你安裝一個屬於自己的深度學習環境! 重灌linux os 20多遍、硬著頭皮剛掉了數不盡的error、成功配置了諸多專案苛刻環境的深度學習工作者吐血整理!
32bit/64bit-Ubuntu14.04+anaconda+CPU版本的Caffe安裝教程
【前言】 關於深度學習,我想朋友們多有了解,這裡就不介紹了。關於深度學習的框架來說,有最近比較流行的Tensorflow,它是由大牛賈揚清2015年聯合谷歌團隊開發的新型框架,安裝比較簡單,不過可惜了,由於小編的電腦是32位作業系統,對於Tensorflow來說
Caffe安裝教程:Ubuntu16.04(CPU)
一、檢查自己電腦是否具有GPUlspci | grep -i nvidia如果未顯示任何內容,則證明你的電腦不支援GPU。二.安裝必要的環境sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev li
安裝Windows版Caffe與py-faster-RCNN(強烈推薦)
在安裝windows版faster RCNN的時候,用用build_win.cmd的方式編譯了好幾天各種問題,參考這篇部落格,一天就弄好了.非常感謝作者的
windows系統numpy的下載與安裝教程
sig eas 好的 科學計算 down b2b 基於 .whl body numpy是一款基於python的功能強大的科學計算包。要安裝numpy首先你得先安裝python。python的安裝非常簡單,本人安裝的是python3.4. 工具/原料
MySQL 5.6 (Win7 64位)下載、安裝與配置圖文教程
服務 建立 basedir 字長 目錄 之前 配置環境 改名 一次 一. 工具 Win7 64位操作系統 二. 步驟 第一步:下載安裝包 下載 地址:http://www.mysql.com/ 截止到目前(2016/7/24) ,官網的最新版本是5.7.13
win10+ ubuntu12.04雙系統安裝教程與遇到的問題
win10 href ubuntu 問題 posit con body details 如果 1. 準備ISO。從該網站http://mirrors.ustc.edu.cn/ubuntu-releases/precise/ 下載 ubuntu-12.04.5-des
Tensorflow 與Caffe(轉)
tps 良好的 輸出 控制 get 開發人員 生命 network 完全 TensorFlow TensorFlow 是相對高階的機器學習庫,用戶可以方便地用它設計神經網絡結構,而不必為了追求高效率的實現親自寫 C++或 CUDA 代碼。它和 Theano 一樣都支持自動
ubuntu 環境下pycharm的 安裝與激活教程
目錄 ins abs 下載 1.3 安裝程序 sm3 權限 wid 1. 基本安裝: 1.1 打開Ubuntu的應用市場,並在搜索欄搜索pycharm,結果如下圖所示 1.2 選擇pro版本進行安裝,結果如下圖所示: 1.3打開安裝後的pycharm,如果出