為了給centos伺服器的pyspark升級成python3.6的，安裝anaconda之後輸入python已經自動使用了anaconda自帶的python版本，但是如果嘗試用

ln -s /root/anaconda3/lib/python3.6 /usr/bin/python

！！！這樣操作過後使用yum命令會報錯，因為yum是使用python2.7的，所以還是使用以下的軟連結！！！

ln -s /root/anaconda3/lib/python3.6 /usr/bin/python3

建立一個軟連結，會提示-bash: /usr/bin/python: Is a directory報錯，原因是anaconda這個python目錄真的是個目錄，而如果自己安裝的python版本的話可以在安裝位置找到python的執行檔案，使用file命令可以檢視檔案型別，分別如下

#Anaconda
symbolic link to `/root/anaconda3/lib/python3.6'
[[email protected] bin]# file /root/anaconda3/lib/python3.6
/root/anaconda3/lib/python3.6: directory

#Python發行版
symbolic link to `/usr/local/python3/bin/python3.6'
[[email protected] bin]# file /usr/local/python3/bin/python3.6
/usr/local/python3/bin/python3.6: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.32, BuildID[sha1]=xxxx, not stripped
 

如果直接用下面指令設定pyspark的python版本，

export PYSPARK_PYTHON=python3

如果python3指向的是一個directory，那麼在執行spark的時候因為open指令打開了資料夾會報錯

WARN  TaskSetManager:66 - Lost task 1.0 in stage 4.0 (TID 13, 192.168.1.27, executor 0): java.io.IOException: Cannot run program "python3": error=13, Permission denied

看起來只是個警告，實際上之後實用的python版本應該回到了原來的python2.7

所以還是需要自己再安裝個python3.6給spark指定路徑的，強烈建議參考該文章，之前我就是沒有做步驟2,3,7導致一堆錯誤。

其中第7步那行註釋位置在檔案很靠後的位置，大概在這片區域

# Andrew Kuchling's zlib module.
# This require zlib 1.1.3 (or later).
# See http://www.gzip.org/zlib/
#zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz

另外要提示的是第8步可以設定安裝路徑

./configure --prefix=/usr/local/python3