2. 程式人生 > >Linux系統下深度學習框架Keras的搭建

Linux系統下深度學習框架Keras的搭建

阿新 • • 發佈：2019-01-07

關於計算機的硬體配置說明

推薦配置

如果您是高校學生或者高階研究人員，並且實驗室或者個人資金充沛，建議您採用如下配置：

  • 主機板：X99型號或Z170型號
  • CPU: i7-5830K或i7-6700K 及其以上高階型號
  • 記憶體：品牌記憶體，總容量32G以上，根據主機板組成4通道或8通道
  • SSD： 品牌固態硬碟，容量256G以上
  • 顯示卡：NVIDIA GTX 1080、NVIDIA GTX TITAN、NVIDIA GTX 1070、NVIDIA GTX 1060 (順序為優先建議，並且建議同一顯示卡，可以根據主機板插槽數量購買多塊，例如X99型號主機板最多可以採用×4的顯示卡)
  • 電源：由主機機容量的確定，一般有顯示卡總容量後再加200W即可

最低配置

如果您是僅僅用於自學或程式碼除錯，亦或是條件所限僅採用自己現有的裝置進行開發，那麼您的電腦至少滿足以下幾點：

  • CPU：Intel第三代i5和i7以上系列產品或同性能AMD公司產品
  • 記憶體：總容量4G以上

CPU說明

  • 大多數CPU目前支援多核多執行緒，那麼如果您採用CPU加速，就可以使用多執行緒運算。這方面的優勢對於伺服器CPU志強系列尤為關鍵

顯示卡說明

  • 如果您的顯示卡是非NVIDIA公司的產品或是NVIDIA GTX系列中型號的第一個數字低於4或NVIDIA的GT系列，都不建議您採用此類顯示卡進行加速計算，例如NVIDIA GT 910、NVIDIA GTX 450 等等。
  • 如果您的顯示卡為筆記本上的GTX移動顯示卡（型號後面帶有標識M），那麼請您慎重使用顯示卡加速，因為移動版GPU很容易發生過熱燒燬現象。
  • 如果您的顯示卡，顯示的是諸如 HD5000,ATI 5650 等型別的顯示卡，那麼您只能使用CPU加速
  • 如果您的顯示卡為Pascal架構的顯示卡（NVIDIA GTX 1080,NVIDIA GTX 1070等），您只能在之後的配置中選擇CUDA 8.0 

基本開發環境搭建

1. Linux 發行版

linux有很多發行版，本文強烈建議讀者採用新版的Ubuntu 16.04 LTS 
一方面，對於大多數新手來說Ubuntu具有很好的圖形介面，與樂觀的開源社群；另一方面，Ubuntu是Nvidia官方以及絕大多數深度學習框架預設開發環境。 
個人不建議使用Ubuntu Kylin，之前提出有部分資訊表示，中國官方開發的這個版本有部分功能被“閹割”，你懂得。 
Ubuntu 16.04 LTS下載地址

：http://www.ubuntu.org.cn/download/desktop 
 
通過U盤安裝好後，進行初始化環境設定。

2. Ubuntu初始環境設定

  • 安裝開發包 
    開啟終端輸入：
  1. # 系統升級
  2. >>> sudo apt update
  3. >>> sudo apt upgrade
  4. # 安裝python基礎開發包
  5. >>> sudo apt install -y python-dev python-pip python-nose gcc g++ git gfortran vim
  • 安裝運算加速庫 
    開啟終端輸入：
  1. >>> sudo apt install -y libopenblas-dev liblapack-dev libatlas-base-dev

3. CUDA開發環境的搭建(CPU加速跳過)

如果您的僅僅採用cpu加速，可跳過此步驟 
- 下載CUDA8.0

之後開啟終端輸入：

  1. >>> sudo dpkg -i cuda-repo-ubuntu1604-8-0-local_8.0.44-1_amd64.deb
  2. >>> sudo apt update
  3. >>> sudo apt install cuda

自動配置成功就好。

  • 將CUDA路徑新增至環境變數 
    在終端輸入：
  1. >>> sudo gedit /etc/bash.bashrc

在bash.bashrc檔案中新增：

  1. export CUDA_HOME=/usr/local/cuda-8.0
  2. export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
  3. export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

之後source gedit /etc/bash.bashrc即可 
同樣，在終端輸入：

  1. >>> sudo gedit ~/.bashrc

在.bashrc中新增如上相同內容 
（如果您使用的是zsh，在~/.zshrc新增即可）

  • 測試 
    在終端輸入：
  1. >>> nvcc -V

會得到相應的nvcc編譯器相應的資訊，那麼CUDA配置成功了。 
記得重啟系統

4. 加速庫cuDNN（可選）

從官網下載需要註冊賬號申請，兩三天批准。網盤搜尋一般也能找到最新版。 
Linux目前就是cudnn-8.0-win-x64-v5.1-prod.zip。 
下載解壓出來是名為cuda的資料夾，裡面有bin、include、lib，將三個資料夾複製到安裝CUDA的地方覆蓋對應資料夾，在終端中輸入：

  1. >>> sudo cp include/cudnn.h /usr/local/cuda-8.0/include/
  2. >>> sudo cp lib64/* /usr/local/cuda-8.0/lib64/

Keras框架搭建

相關開發包安裝

在終端中輸入:

  1. >>> sudo pip install -U --pre pip setuptools wheel
  2. >>> sudo pip install -U --pre numpy scipy matplotlib scikit-learn scikit-image
  3. >>> sudo pip install -U --pre theano
  4. >>> sudo pip install -U --pre keras

安裝完畢後，輸入python，然後輸入：

  1. >>>import theano
  2. >>>import keras

無錯輸出即可

Keras環境設定

  • 修改預設keras後端 
    在終端中輸入:
  1. >>> gedit ~/.keras/keras.json
  • 配置theano檔案 
    在終端中輸入:
  1. >>> gedit ~/.theanorc

並寫入以下：

  1. openmp=False
  2. device = gpu
  3. floatX = float32
  4. allow_input_downcast=True
  5. [lib]
  6. cnmem =0.8
  7. [blas]
  8. ldflags=-lopenblas
  9. [nvcc]
  10. fastmath =True

如果您的所安裝的是CPU加速版本，那麼.theanorc檔案配置如下：

  1. [global]
  2. openmp=True
  3. device = cpu
  4. floatX = float32
  5. allow_input_downcast=True
  6. [blas]
  7. ldflags=-lopenblas

之後可以驗證keras是否安裝成功,在命令列中輸入Python命令進入Python變成命令列環境：

  1. >>>import keras

沒有報錯，並且會打印出關於顯示卡資訊以及cnmem等資訊（CPU版本沒有）那麼Keras就已經成功安裝了。

加速測試

速度測試

新建一個檔案test.py，內容為：

  1. from theano import function, config, shared, sandbox
  2. import theano.tensor as T
  3. import numpy
  4. import time
  5. vlen =10*30*768# 10 x #cores x # threads per core
  6. iters =1000
  7. rng = numpy.random.RandomState(22)
  8. x = shared(numpy.asarray(rng.rand(vlen), config.floatX))
  9. f = function([], T.exp(x))
  10. print(f.maker.fgraph.toposort())
  11. t0 = time.time()
  12. for i in xrange(iters):
  13.  r = f()
  14. t1 = time.time()
  15. print("Looping %d times took %f seconds"%(iters, t1 - t0))
  16. print("Result is %s"%(r,))
  17. if numpy.any([isinstance(x.op, T.Elemwise)for x in f.maker.fgraph.toposort()]):
  18. print('Used the cpu')
  19. else:
  20. print('Used the gpu')

在GTX 970顯示卡下，輸出結果大概是0.21秒，在一百倍運算量下19秒，可以進行對比。 
理論上，相比較主頻為3.3GHz的CPU，加速比應該是75倍，但不同的ssd和記憶體限制了IO介面傳輸速度。

Keras中mnist資料集測試

下載Keras開發包

  1. git clone https://github.com/fchollet/keras.git
  2. cd keras/examples/
  3. python mnist_mlp.py

程式無錯進行，至此，keras安裝完成。

相關推薦

Linux系統下深度學習框架Keras的搭建

關於計算機的硬體配置說明 推薦配置 如果您是高校學生或者高階研究人員，並且實驗室或者個人資金充沛，建議您採用如下配置： 主機板：X99型號或Z170型號CPU: i7-5830K或i7-6700K 及其以上高階型號記憶體：品牌記憶體，總容量32G以上，根據主機板組成4

Ubuntu 搭建深度學習框架 keras

all bash VC 使用 learning 是否 技術 ESS image 深度學習框架Keras是基於Tensorflow的所以，安裝keras需要安裝Tensorflow： 1. 安裝教程主要參考於兩個博客的教程： https://www.cnblogs.c

Windows下深度學習平臺Keras環境搭建【CPU版】

系統：Windows8.1 CPU：Intel Core i5-5200U 電腦為筆者的自己的膝上型電腦，原來是想搭個Windows下的Python環境，後來因為需要一併將Windows下的CPU版本Keras也搭建完成。Windows下CPU版本的Keras以熟悉Kera

深度學習框架keras平臺搭建（關鍵字：windows、非GPU、離線安裝）

當下，人工智慧越來越受到人們的關注，而這很大程度上都歸功於深度學習的迅猛發展。人工智慧和不同產業之間的成功跨界對傳統產業產生著深刻的影響。 最近，我也開始不斷接觸深度學習，之前也看了很多文章介紹，對深度學習的歷史發展以及相關理論知識也有大致瞭解。 但常言道：紙上得來終覺淺，

windows下MatConvNet深度學習框架的搭建

MatConvNet是Matlab下用於機器視覺的一個工具包，主要應用是CNN網路，當然其他的網路也涉及到了。MatConvNet簡潔、高效，可以用於圖片分類、分割和人臉識別等等深度學習的功能。具體的可以參見官網的介紹。 在搭建環境的過程中，發現如今網上對其的資源不太

深度學習框架Keras安裝

orf 語言 mage 版本 win color install Beginner inner 本文主要參考：https://blog.csdn.net/qingzhuochenfu/article/details/51187603 前提：Keras是Python語

深度學習框架---keras的層次示意圖---方便直觀理解---適用sklearn模型的展示

感覺keras確實比其他框架舒服一點，但是前期理解keras層的時候可能有點小問題，keras的層使用了原始神經網路層的概念，即先有上層的輸出聚合，聚合後在進入啟用函式。我的環境是python3.5+tensorflow+keras+graphviz+pydot_ng+pydotplus 其中

Linux系統下python學習筆記——python基礎學習準備

第一個hello world程式 基本環境：Linux系統，Vim程式碼編輯器 1、使用Vim程式碼編輯器編輯程式print("hello world!")      注意：1、前面不要加空格。   2、習慣性問題：括號和分號要成對寫（不容易出錯或

Linux系統下python學習筆記——vim程式碼編輯器

Vim程式碼編輯器 一、Vim簡介           vi是"Visual Interface"的簡稱。它在Linux上的地位就彷彿Edit程式在DOS上一樣。它可以執行輸出、刪除、查詢、替換、塊操作等眾多文字操作，而且使用者可以根據自己的

Linux系統下python學習筆記——Linux系統其他命令

Linux系統其他命令 一、查詢檔案 find    通常用來在特定目錄下搜尋符合條件的檔案 find [路徑] -name "*.py"    查詢指定路徑下副檔名是.py的檔案，包括子目錄（*為萬用字元） 如果省略路徑，表示在當前資料夾下查

Linux系統下python學習筆記——Linux系統資訊相關命令

系統資訊相關命令 目的：主要是為了方便通過遠端終端維護伺服器時，檢視伺服器上當前的  系統日期  和   時間/磁碟空間佔用情況/   程式執行情況。基本都是查詢命令，通過這些命令可以對系統資源的使用情況有個瞭解。 1、時間和日期 date&nbs

Linux系統下python學習筆記——Linux系統使用者許可權命令

1、基本概念 使用者是Linux系統工作中重要的一環，使用者管理包括使用者與組管理。在Linux系統中，不論是由本機或是遠端登入系統，每個系統都必須擁有一個賬號，並且對於不同的系統資源擁有不同的使用許可權。在Linux中，可以指定每一個使用者針對不同的檔案或者目錄的不同許可權。 對檔案/目錄

Linux系統下python學習筆記——Linux系統遠端管理命令

Linux系統遠端管理常用命令 一、關機/重啟shutdown 格式：shutdown 選項 時間 選項：-r ：重新啟動 時間：now(立刻關閉)   22:45  +10(十分鐘之後執行 ) 不指定選項和引數，預設一分鐘之後關閉電腦 遠端維護伺服器時，

Linux系統下python學習筆記——Linux中檔案和目錄常用命令詳解

一、檢視目錄內容 ls命令說明: 英文單詞list的簡寫，功能為列出目錄的內容，是使用者最常用的命令字義    Linux下檔案和目錄的特點： Linux檔案或目錄名稱最長可以有256個字元 以 . 開頭的檔案為隱藏檔案，需要用-a引數才能顯示（all

Linux系統下python學習筆記——Linux終端命令綜述

終端命令格式： command [-options] [parameter]（其中[ ]表示可選）       command:命令名，相應功能的英文名或者英文縮寫       [-options]:選項，用來對命令進行控制，可省

Linux系統下python學習筆記——前期準備

一、作業系統（Operation System,OS）    作業系統的作用：1、直接操作硬體；2、把操作硬體的程式碼封裝成一個又一個的系統呼叫，供其他程式（軟體）呼叫，實現間接操作硬體。 作業系統分類：       

Linux系統下kafka叢集環境的搭建

1：搭建kafka叢集環境需要安裝JDK、Zookeeper叢集環境 JDK的安裝可以參考https://mp.csdn.net/postedit/84196901這篇部落格 Zookeeper叢集環境的安裝可以參考https://mp.csdn.net/postedit/84201320這

Linux系統下Zookeeper叢集環境的搭建

 1：下載Zookeeper 下載地址：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/ 2：配置和安裝Zookeeper #我的目錄統一放在/opt下面 #首先建立Zookeeper專案目錄 mkd

DeepLearning tutorial（6）易用的深度學習框架Keras簡介

                之前我一直在使用Theano，前面五篇Deeplearning相關的文章也是學習Theano的一些筆記，當時已經覺得Theano用起來略顯麻煩，有時想實現一個新的結構，就要花很多時間去程式設計，所以想過將程式碼模組化，方便重複使用，但因為實在太忙沒有時間去做。最近發現了一個叫做

基於Theano的深度學習框架keras及配合SVM訓練模型

https://blog.csdn.net/a819825294/article/details/51334397 1.介紹 Keras是基於Theano的一個深度學習框架，它的設計參考了Torch，用Python語言編寫，是一個高度模組化的神經網路庫，支援GPU和CPU。keras官方文件地址 地址 2.