在伺服器上跑資料是我們常常都需要做的一件事，這篇部落格主要記錄一下從配置伺服器到拿到從伺服器成功拿到資料整個過程我的操作，這裡以騰訊雲伺服器為例

1.申請雲伺服器

這個沒什麼好講的，騰訊雲註冊送7天體驗伺服器，阿里雲送6個月，AWS送一年。因為只是體驗，我開了個騰訊的，系統是ubuntu16.04。為了安全伺服器只給了ubuntu使用者，不給root使用者，所以所有需要root許可權的操作都必須要加上sudo，系統自帶的python版本是2.7，而我的爬蟲版本是3.5，因此首先要做的就是安裝python3.5。

2.安裝python3

首先要去官網下載你所需要的python版本
wget

https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz
下載完畢後解壓
tar -xvf Python-3.5.2.tgz
建立安裝路徑
mkdir /usr/local/python3
編譯
./configure –prefix=/usr/local/python3
安裝
sudo make
sudo make install
修改軟連結
mv /usr/bin/python /usr/bin/python_bak
ln -s /usr/local/python3/bin/python3 /usr/bin/python
驗證
python -V
安裝過程中可能會碰到某些依賴不存在，根據提示資訊自行谷歌安裝相應依賴即可

3.配置免密登陸

要在自己電腦上免密登陸伺服器，需要現在自己電腦上生成一個公鑰
ssh-keygen -t rsa，接下來會有三個配置項，一路回車用預設的即可
然後
cd ~/.ssh
可以看到一個檔案叫做id_rsa.pub，這個就是你的公鑰，再在當前資料夾執行
ssh-copy-id [email protected]
就可以把你的公鑰拷貝到伺服器的~/.ssh/authorized_keys裡面，當然你也可以手動拷貝，不過用vim進行拷貝的時候容易多一個空格或者多一個回車導致失效
這樣就配置完畢了，如果不能免密登陸，檢查伺服器配置是否開啟了免密登陸
$vi /etc/ssh/sshd_config
檢查下面幾項是否配置正確
RSAAuthentication yes
PubkeyAuthentication yes
AuthorsizedKeysFile .ssh/authorized_keys
編輯完畢，再重啟ssh服務
systemctl restart sshd.service

4.傳輸資料

常見有4種傳輸資料的辦法，見Linux中傳輸檔案的4種方式
我一般直接用scp
scp ~/test/scipt.py [email protected]:~/test/
輸入密碼就能傳上去了，如果是資料夾需要加上-r選項
傳上去後還需要讓指令碼在後臺執行，不然控制檯被關閉程序就被關了，後臺執行的語句是
nohup python -u script.py > log.out &
這裡，> log.out 表示將控制檯輸出輸出到log.out檔案中
-u選項表示每多一條資訊就實時輸出到log.out中，而不是全部輸出完畢再輸出
&符號表示在後臺執行，執行時可以檢視日誌或者執行
ps -ef |grep python
檢視後臺執行的python程序，程式執行完畢執行可以通過
du -h -d 1 –all
以k、M、G為單位的更友好的方式檢視跑出來的資料大小，決定需不需要打壓縮包，再執行
scp -r [email protected]:~/test/data ~/test/
將資料拷貝到本地，這裡不能在伺服器上執行scp，因為我們的電腦往往沒有固定的ip，這樣就完成了在伺服器上執行爬蟲的全過程