深度學習平臺搭建筆記(我的TANTI-XP)
深度學習平臺搭建安裝順序:(注意相關版本相容問題參考官網)
ubuntu14.04 ssh(Xshell 5, WinSCP,Xmanager) Nvidia CUDA8.0(cudnn5.1) (caffe, tensorflow, keras)
1. python(anaconda)+ tensorflow + keras + pycharm
2. opencv + matlab + BLAS + python(anaconda) + caffe
總結:在安裝深度學習平臺之前,先確定需要安裝的平臺比如TensorFlow,到官網查詢該平臺對CUDA8.0和cudnn的版本要求併到官方網站下載相應安裝包,然後在ubantu上執行“sudo ubuntu-drivers devices
注意:一個能大大提高效率的方法是裝好ubuntu後先安裝“ssh通訊協議”,然後在另一臺查詢資料(問題)的電腦上用“Xshell5”和“WinSCP”這兩個軟體遠端控制ubuntu搭建深度學習平臺,這樣子下載的所有安裝包都可以通過“WinSCP”傳輸到ubuntu上而不需要U盤,所有的執行命令都可以在部落格上覆制貼上到“Xshell 5”命令視窗遠端控制在ubuntu上執行,而不需要一行一行的在ubuntu上輸入命令,所以操作的電腦很有必要雙屏。
從零開始整個流程大概如下:
1. 安裝windows
2. 安裝Ubuntu
3. SSH通訊協議:提高安裝效率的遠端操作
4. 搭建深度學習基礎平臺:Nvidia驅動、CUDA8、cudnn5
5. 深度學習框架:TensorFlow
6. 深度學習另外一個框架:Caffe
7. 附錄:遇到的一些坑的解決方法、相關連結、官網安裝包下載連結
1) 安裝windows
Windows 安裝:製作系統安裝U盤
老毛桃安裝系統步驟:
2) 安裝Ubuntu
Ubantus 安裝,雙系統指導連結: 雙系統windows和ubuntu安裝教程
(解釋安裝Ubuntu時分割槽大小如何設定更加合理)
製作U盤啟動盤: 軟碟通(ubuntu)、大白菜、老毛桃
設定Bios 安裝系統入口:UEFI USB Key:UEFI: KingstonDataTraveler3.0PMAP, Partition 1 才不會出現在安裝過程中還沒進入引導圖之前就出現黑屏無法安裝的狀態如下圖
烏班圖安裝步驟
Windows7硬碟安裝Ubuntu14.04引導後黑屏解決方案
WIN 7和ubuntu雙系統下,將預設引導改回windows引導方式
3) 提高安裝效率說明:遠端操作
提供安全的遠端登入:即可用另外一臺電腦在windows上的Xshell 5 軟體上遠端登入到ubuntu;在windows上的WinSCP 軟體遠端管理ubuntu檔案,在windows上的Xmanager 軟體遠端操作ubuntu頁面,ssh是一種安全協議,ubuntu是在這種協議之上與windows的Xshell 5等軟體通訊從而實現被遠端控制的。
ubuntu14.04 SSH的安裝及使用方法 :
4) 搭建深度學習基礎平臺:Nvidia驅動、CUDA8、cudnn5
安裝ubuntu14.04+nvidiadriver+cuda8+cudnn5 兩個連結內容綜合使用
(主要用)ubuntu14.04+cuda8.0(GTX1080)+caffe安裝:
(輔助用)ubuntu14.04+nvidia driver+cuda8+cudnn5+tensorflow0.12
http://www.jianshu.com/p/c89b97d052b7
5) 深度學習框架:TensorFlow
安裝anaconda(2.7) + tensorflow + keras + pycharm
ubuntu14.04+nvidiadriver+cuda8+cudnn5+tensorflow0.12
http://www.jianshu.com/p/c89b97d052b7 (主要用於安裝anaconda2.7,然後安裝tensorflow這個連結的只作為參考,主要以官網安裝流程(Installingwith Anaconda部分)為主)
安裝Keras: 直接在命令視窗輸入 pip install keras ,成功結果如下
驗證成功與否:
source activate tensorflow
python
import tensorflow as tf
import keras
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))
exit()
source deactivate
成功則會得到輸出結果:Hello,TensorFlow!
安裝pycharm(用於工程管理):
安裝參考連結
Ubuntu下安裝完Pycharm建立桌面快捷方式
至此,深度學習平臺之一TensorFlow + Keras 已經安裝完畢,以下為安裝caffe平臺流程,由於前面安裝的anaconda已經包含BLAS和python,所以在搭建caffe時只需要安裝Openvc和MATLAB即可。
6) 深度學習另外一個框架:Caffe
安裝Openvc2.4:
安裝相關依賴項:sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec- dev libavformat-dev libswscale-dev 這個命令不成功也直接過沒關係的
成功結果圖
安裝MATLAB:
一目瞭然的所有必要流程
Linux下的MATLAB2014安裝包下載附帶詳細安裝流程
最最最後,安裝caffe
輔助參考以下連結的9和10小節,通過它瞭解整個流程
主要參考官網安裝流程和根據解釋理解每一步操作
根據自己的配置設定Makefile.config檔案引數。注意:一定要把MATLAB和python的安裝路徑設定對(…MATLAB/2014a和anaconda2)
成功結果圖
7) 附錄:遇到的一些坑的解決方法、相關連結、官網安裝包下載連結
安裝CUDA8.0時會出現類似於在“下載檔案”的頁面,會卡在哪裡下載,直接按“Q”退出然後按照指導繼續安裝
輸入“nvcc –V”驗證cuda是否安裝成功是會出現以下錯誤,因此輸入的是“nvcc –V i”才會輸出cuda的資訊。
踩到的坑:在還沒查系統recommend的NVIDIA驅動版本之前直接安裝“367”的,結果導致“例子,即執行./deviceQuery”時失敗,後來從新裝“375” NVIDIA驅動即可成功PASS
新增環境變數的兩種方法:
踩坑二:
(查from backports import weakref # pylint: disable=g-bad-import-order)
答案:pip install backports.weakref
解決坑makematcaffe失敗的連結
查詢技巧,查詢關鍵字:Ubuntu14.04+CUDA8.0+GTX1080+caffe(唐毅師兄的技巧)
一些有參考價值的連結
(用)ubuntu14.04+cuda8.0(GTX1080)+caffe安裝:
(用)ubuntu14.04+nvidia driver+cuda8+cudnn5+tensorflow0.12
http://www.jianshu.com/p/c89b97d052b7
ubuntu14.04+GTX1080 部署tensorflow+cuda8.0:
深度學習主機環境配置:Ubuntu16.04+Nvidia GTX 1080+CUDA8.0
Caffe+GTX1080+CUDA8.0+cudnn5.0
(用)ubuntu16.04+Cuda8.0+CuDnnv5+OpenCV3.1.0+Matlab2014+Python+Caffe安裝
「DeepLearning」Caffe+GTX1080+CUDA8.0+cudnn5.0
Ubuntu16.04 +cuda8.0+cudnn+opencv+caffe+theano+tensorflow配置明細
Ubuntu16.04+GTX1050ti+CUDA8.0+TensorFlow-gpu+Keras+Pycharm配置深度學習環境
ubuntu14.04 cuda8.0 cudnn caffe tensorflow opencv 很多內容
ubuntu16.04安裝caffe
2015.08.17 Ubuntu 14.04+cuda 7.5+caffe安裝配置 (唐毅師兄推薦)
Nvidia 顯示卡驅動官網下載:
cudnn和CUDA8.0官方包下載: