Tesla-M60雲伺服器,pytorch0.3-cuda8.0-cudnn6.0-利用pycharm遠端除錯
一般我們進行深度學習大部分是在本地進行除錯,到實驗室桌上型電腦中進行煉丹,這樣來我們必須時刻待在實驗室。接下來要說的,通過雲伺服器這種方法就可以隨時隨地進行深度學習。
最終我們實現的是遠端進行深度學習的程式執行,開啟一個深度學習專案,將pycharm的直譯器換為遠端GPU雲伺服器的直譯器,然後在你的便攜筆記本上跑就行了…
前提條件:
1、行動式膝上型電腦(本人是Macbookpro13.3)
2、GPU雲伺服器,可以是網購也可以是自己搭建
3、能上網!能上網!能上網!
行動式筆記本
膝上型電腦配置參照一般超極本即可,電腦中最好也有pytorch的環境,不必需要cuda版的,python環境當然最好搭建好,而且安裝好pycharm。
雲伺服器
我選購的是美團雲的伺服器,美團雲最近在搞活動,GPU伺服器價格5折,當然要趁著這個機會嚐嚐鮮啊…關鍵是價格還算比較便宜,相比於阿里雲實在是便宜多了。。
這是我選購的配置清單:
M60顯示卡大家可能比較陌生,因為我們都是用1070、1080ti等消費級顯示卡,這個M60顯示卡是伺服器顯示卡,伺服器顯示卡麼,最大的優點就是可以多使用者執行,併發性較好,至於每個人分配的執行資源麼,一會測測就知道了。
價格1.39一個小時,怎麼說,按一天8個小時的使用量(當然如果你訓練的話可能需要好幾天,現在不討論這個),一天下來差不多12塊,一個月就是360塊,價格對於學生黨來說還是比較貴的。
好了安裝好系統連上SSH進行測試吧!
系統使用的ubuntu16.04,美團雲自動安裝了cuda8.0和cudnn6.0,版本有點舊了啊。。。
剛開始連上ubuntu第一件事做的就是sudo apt-get update
和sudo apt-get upgrade
麼,當然,我這邊出現了點問題,apt-get安裝軟體Unable to locate package錯誤解決辦法,總之就是更新apt的source源。
好了,這一部完了開始搭建虛擬環境系統吧,這裡我是下載好了anaconda3的ubuntu版 .sh檔案 然後通過ftp上傳到伺服器中進行安裝,安裝好了記得將anaconda3的環境變數新增到你的profile中。
安裝好anaconda後,搭建一個虛擬環境,具體步驟自行百度,然後在此虛擬環境中安裝pytorch就好了,conda install pytorch torchvision -c pytorch
好了,到了這裡雲伺服器的環境就差不多搭好了,接下來配置pycharm。
pycharm遠端除錯
開啟tools中的deployment,點選➕進行伺服器配置。
名稱隨便起,型別選為sftp,其他的按照伺服器的標準來填就好,root path不用換。
mappings中填寫你本地工程的地址和伺服器那邊的地址,配置好後當你在本地改程式的時候,程式就會同步到伺服器上,相當於一個自動的git了~
excluded path不用填
這一步弄好,僅僅是可以通過本地的pycharm來修改伺服器端的程式,肯定比通過ssh工具通過vim等編輯器編輯程式好吧。。。當然,這個程式只能在伺服器上執行,不能在本地執行。。。所以接下來就要使在本地也可以執行。
開啟你當前pytorch工程的直譯器,點選新增遠端直譯器(此時我的直譯器還是本地的)。
選擇之前的弄好的deployment即可,注意python直譯器地址一定要寫成anaconda3中envs中建立好虛擬環境的地址(下圖中不正確)。
填寫好正確地址後,生成的直譯器如下:
好了,解釋了弄好了,就可以跑個測試程式了,這裡跑的是fcn中的一段測試程式,來自github中的pytorch-fcn。
以上是程式執行結果,相比如泰坦x的45s 和 1060 6G 的129s,這個伺服器可以呼叫的運算資源稍稍差於1066,當然這個測試並不標準,兩個程式執行的cuda版本不同,將伺服器中的cuda版本升級一下可能會更快些。
總結
除了遠端除錯,其實也是可以遠端debug的,不過需要安裝很多東西。
總而言之,遠端除錯深度學習程式是可以的,自己搭個伺服器或者網購一個伺服器租用,隨時隨地進行深度學習,哈哈,還是不錯的。
相關推薦
Tesla-M60雲伺服器,pytorch0.3-cuda8.0-cudnn6.0-利用pycharm遠端除錯
一般我們進行深度學習大部分是在本地進行除錯,到實驗室桌上型電腦中進行煉丹,這樣來我們必須時刻待在實驗室。接下來要說的,通過雲伺服器這種方法就可以隨時隨地進行深度學習。 最終我們實現的是遠端進行深度學習的程式執行,開啟一個深度學習專案,將pycharm的
阿里雲Tesla P100GPU雲伺服器搭建TensorFlow環境
最近基於深度學習的影象識別專案需要用到GPU加速,申請了阿里雲的GPU伺服器,在搭建過程中遇到了一些問題,現在將搭建過程記錄 環境: 阿里雲GPU伺服器Tesla P100 作業系統: Ubuntu 16.04 準備安裝包(這個是我用來測試搭建的包,如果想用新版本,請自行下載,對應的包檔案會提
騰訊雲伺服器centos7.3 配置FTP,每個使用者登入FTP對應不同的檔案目錄,並只能訪問設定的目錄
VSFTPD 安裝: -- 檢視是否已經安裝 VSftpd: rpm -qa | grep vsftp yum install -y vsftpd groupadd ftpuser #建立ftpuser組 useradd -g ftpuser -s /sbin/
win10下安裝cuda8.0+cudnn6.0+tensorflow1.3-GPU+python3.5
1.安裝Anaconda 在官網下載的Anaconda3-4.4.0-Windows-x86_64.exe.(對應64位系統) 下一步高階安裝選項裡面勾選上面加入環境變數,下面不選 2安裝tensorflow 管理員身份啟動anaconda prompt
深度學習環境搭建:Tensorflow1.4.0+Ubuntu16.04+Python3.5+Cuda8.0+Cudnn6.0
edi tensor pkgs strong www url 輸出 軟鏈接 5.0 目錄 深度學習環境搭建:Tensorflow1.4.0+Ubuntu16.04+Python3.5+Cuda8.0+Cudnn6.0 Reference 硬件說明: 軟件準備: 1. 安
搞定ubuntu16.04+cuda8.0+cudnn6.0+tensorflow1.4.0
吐血,裝cuda和cudnn搞了兩天…… 記錄一下: 首先!!各位小白不要上去就直接裝!!!!! 一定要看好對應版本!!!! 有的cuda版本和tensorflow的版本不相容,有的NVIDIA驅動和cuda之間不相容 先多看一些部落格之類的,觀察與自己ubun
[安裝教程] Ubuntu 16.04 LTS + cuda8.0 + cudnn6.0 + python3.5 + tensorfow1.4
寫在前面:請一定按照題目上的版本進行安裝,因為安裝的其他版本之間的搭配均以失敗告終! 配置GPU版本的tensorflow真心時累啊,經歷了版本不對,迴圈登入,等等問題。終於安裝成功,在這記錄一下過程,
Windows 10安裝TensorFlow-gpu1.4 及CUDA8.0,cuDNN6.0,搞定了,包含安裝方法和下載路徑
Windows 10安裝TensorFlow-gpu1.4 及CUDA8.0,cuDNN6.0,搞定了 先說下我的最終版本: Python 3.5.3; tensorflow-gpu==1.4.0 ; CUDA Toolkit 8.0 GA1 (Sept 2016),&nb
Ubuntu16.04 cuda8.0+cudnn6.0+python3.5 配置tensorflow-gpu 1.4.0
機子情況 win10+ubuntu16.04雙系統 cpu:intel i7-7700 gpu:GTXI060 6G EVGA 在ubuntu16.04上想配置GPU版的tensorflow 備註: 我原來系統是win10,後來用u盤製作啟動盤安裝了ubuntu16.04
legacy啟動下ubuntu16.04+cuda8.0+cudnn6.0配置
一、Ubuntu16.04安裝 在ubuntu16.04之前,我已經是win10的系統。然後在網上搜索了大量的帖子,都說裝雙系統要看電腦是哪種啟動方式,BIOS(Iegacy)+MBR 和 UEFI+GPT,可以簡單的理解為EFI是新一代的BIOS,GPT是新一代的分割槽方
Tensorflow Pytorch GPU安裝(Ubuntu 16.04 anaconda cuda8.0 cuDNN6.0)
1. 安裝python(Anaconda) python環境使用anaconda 從官方網站下載作業系統對應的版本 chmod +x Anaconda3-5.0.1-Linux-x86_64.sh ./Anaconda3-5.0.1-Linux-x86_64.sh
Ubuntu 16.04 安裝CUDA8.0+Cudnn6.0+TensorFlow+Caffe安裝
參考部落格: Ubuntu16.04 Caffe 安裝步驟記錄(超詳盡):http://blog.csdn.net/yhaolpz/article/details/71375762 ubuntu16.04安裝caffe:http://blog.csdn.net/u011272513/ar
Tensorflow1.4.0(GPU)+Win10+Anaconda5.0.1+CUDA8.0+cuDNN6.0+Python3.6深度學習環境安裝
第一次寫部落格,因為Tensorflow1.4.0(GPU)安裝,感慨萬千,也希望大家安裝的時候別走博主的坑,博主儘量讓大家避開坑(關注官網動態很重要)也是看了很多篇部落格。但是很多不具有時效性,畢竟Tensorflow一直在發展,一直在更新新版本。總結出了很多
RedHat7.2 Install Cuda8.0+Cudnn6.0+TensorFlow-GPU1.4.0
TensorFlow定義 關於 TensorFlow TensorFlow是一個採用資料流圖(data flow graphs),用於數值計算的開源軟體庫。節點(Nodes)在圖中表示數學操作,圖中的線(edges)則表示在節點間相互聯絡的多維資料陣列,即張量
Ubuntu 16.04 LTS + CUDA8.0 + cudnn6.0
簡介 本文記錄本人安裝CUDA的方法及過程中,以及出現的一些問題及解決辦法。本人習慣於參考官方手冊,這裡主要參考 NVIDIA CUDA 官方手冊 進行安裝,其中包含了CUDA開發的幾乎所有文件手冊,如何在 Linux 系統上的安裝CUDA參見: C
windows10+cuda8.0+cudnn6.0+caffe+vs2015
我們之前介紹了使用vs2013來安裝caffe,但是這樣使用的python版本是2.7,然後在windows的python2.7中,並沒有支援的tensorflow,這就很尷尬了。對於既要使用tensorflow,又要使用caffe的python介面的我來說,不
GTX 1080Ti + cuda8.0 + cuDNN6.0 安裝及測試
GPU 顯示卡廠商已經安裝好了,直接安裝 cuda8.0 + cuDNN6.0 我這裡的顯示卡是 GTX 1080 Ti cuda安裝 我下載的是cuda8.0的是deb格式的1.9個G地址:https://developer.nvidia.com/
windows10+anaconda3+gpu+cuda8.0+cudnn6.0+tensorflow配置
連續配置了兩天的caffe,試過了cuda,vs等各種軟體的各種版本,最後連繫統都裝了ubantu,最後我還是放棄了,轉向tensorflow。廢話不多說,開始正文。1.安裝Anaconda32.安裝t
Whl方式CUDA8.0+cuDNN6.0.21+python3.4的ubuntu環境下tensorflow的安裝
原始碼安裝tensorflow請參照http://blog.csdn.net/u013591306/article/details/79031001 下面主要介紹Whl方式安裝tensorflow的方法 1、下載 GPU版本的tensorflow 下載地址 https://
pycharm遠端除錯:_tkinter.TclError: couldn't connect to display "localhost:10.0"
PyCharm遠端開發配置 背景 遠端伺服器上OS版本為Ubuntu16.04。準備用Win10進行遠端開發,按照上述教程配置完PyCharm後,可以正常呼叫遠端python直譯器,但是當我程式產生視窗或者圖片時,發現本地機器無法顯示加載出來視窗或者圖片。於是