1. 程式人生 > >spark分散式平臺下python環境的搭建

spark分散式平臺下python環境的搭建

               /usr/local/bin/python2.7 -V

         7)將系統預設的python指向到2.7版本

              mv /usr/bin/python /usr/bin/python2.6.0

             ln -s /usr/local/bin/python2.7 /usr/bin/python

            然後通過python -V檢視就會顯示為2.7.3了。

2.由於該project需要使用到python中的三個庫,numpy,scipy和recsys。

這裡對這三個庫做一個簡單的介紹:

numpy:一個用python實現的科學計算包。包括:1、一個強大的N維陣列物件Array;2、比較成熟的(廣播)函式庫;3、用於整合C/C++和Fortran程式碼的工具包;4、實用的線性代數、傅立葉變換和隨機數生成函式。numpy和稀疏矩陣運算包scipy配合使用更加方便。NumPy(Numeric Python)提供了許多高階的數值程式設計工具,如:矩陣資料型別、向量處理,以及精密的運算庫。專為進行嚴格的數字處理而產生。

scipy:是一款方便、易於使用、專為科學和工程設計的Python工具包.它包括統計,優化,整合,線性代數模組,傅立葉變換,訊號和影象處理,常微分方程求解器等等.

recsys:其提供一些演算法的矩陣運算(詳細瞭解請見http://ocelma.net/software/python-recsys/build/html/index.html)