一、Python中常用的科學計算工具包：

我們最瞭解的科學計算工具可能是Matlab，它能進行集數值計算，視覺化工具及交互於一身，可惜的是它是一個商業產品。開源方面除了GNU Octave在嘗試做一個類似Matlab的工具包外，Python的這幾個工具包集合到一起也可以替代Matlab的相應功能：NumPy+SciPy+Matplotlib+iPython。同時，這幾個工具包，特別是NumPy和SciPy，也是很多Python文字處理 & 機器學習 & 資料探勘工具包的基礎，非常重要。

1. Numpy：

Numpy是使用Python進行科學計算的基礎庫，主要提供高效能的N維陣列實現以及計算能力，還提供了和其它語言如C/C++整合的能力，此外還實現了一些基礎的數學演算法，如線性代數相關、傅立葉變換及隨機數生成等。

NumPy提供了兩種基本的物件：ndarray（N-dimensional array object）和 ufunc（universal function object）。ndarray是儲存單一資料型別的多維陣列，而ufunc則是能夠對陣列進行處理的函式。

2. SciPy：Scientific Computing Tools for Python

“SciPy是一個開源的Python演算法庫和數學工具包，SciPy包含的模組有最優化、線性代數、積分、插值、特殊函式、快速傅立葉變換、訊號處理和影象處理、常微分方程求解和其他科學與工程中常用的計算。其功能與軟體MATLAB、Scilab和GNU Octave類似。 Numpy和Scipy常常結合著使用，Python大多數機器學習庫都依賴於這兩個模組。”—-引用自“Python機器學習庫”

3.Matplotlib

Matplotlib是python資料視覺化工具包。是python最著名的繪相簿，它提供了一整套和matlab相似的命令API，十分適合互動式地進行製圖。而且也可以方便地將它作為繪圖控制元件，嵌入GUI應用程式中。Matplotlib可以配合ipython shell使用，提供不亞於Matlab的繪圖體驗，總之用過了都說好。

在IPython控制檯使用Matplotlib，可以使用ipython--matplotlib命令來啟動IPython控制檯程式；如果要在IPython notebook裡使用Matplotlib，則在notebook的開始位置插入%matplotlib inline魔術命令即可。

IPython為Matplotlib專門提供了特殊的互動模式。IPython的Matplotlib模式有兩個優點，一是提供了非阻塞的畫圖操作，二是不需要顯示地呼叫show（）方法來顯示畫出來的圖片。

二. Python 機器學習 & 資料探勘常用工具包

機器學習和資料探勘這兩個概念不太好區分，這裡就放到一起了。這方面的開源Python工具包有很多，這裡先從熟悉的講起，再補充其他來源的資料，也歡迎大家補充。

2.1 scikit-learn: Machine Learning in Python

首先是scikit-learn，scikit-learn是一個基於NumPy, SciPy, Matplotlib的開源機器學習工具包，主要涵蓋分類，迴歸和聚類演算法，例如SVM， 邏輯迴歸，樸素貝葉斯，隨機森林，k-means等演算法，程式碼和文件都非常不錯，在許多Python專案中都有應用。例如在我們熟悉的NLTK中。scikit-learn提供了一致的呼叫介面。它基於Numpy和scipy等Python數值計算庫，提供了高效的演算法實現。總結起來，scikit-learn工具包有以下幾個優點。

一、文件齊全：官方文件齊全，更新及時。

二、介面易用：針對所有演算法提供了一致的介面呼叫規則，不管是KNN、K-Means還是PCA.

三、演算法全面：涵蓋主流機器學習任務的演算法，包括迴歸演算法、分類演算法、聚類分析、資料降維處理等。

缺點是scikit-learn不支援分散式計算，不適合用來處理超大型資料。

2.2 Pandas: Python Data Analysis Library

Pandas是一個強大的時間序列資料處理工具包，Pandas是基於Numpy構建的，比Numpy的使用更簡單。最初開發的目的是為了分析財經資料，現在已經廣泛應用在Python資料分析領域中。Pandas，最基礎的資料結構是Series，用它來表達一行資料，可以理解為一維的陣列。另一個關鍵的資料結構為DataFrame，它表示的是二維陣列

Pandas是基於NumPy和Matplotlib開發的，主要用於資料分析和資料視覺化，它的資料結構DataFrame和R語言裡的data.frame很像，特別是對於時間序列資料有自己的一套分析機制。有一本書《Python for Data Analysis》，作者是Pandas的主力開發，依次介紹了iPython, NumPy, Pandas裡的相關功能，資料視覺化，資料清洗和加工，時間資料處理等，案例包括金融股票資料探勘等，相當不錯。

2.3 mlpy – Machine Learning Python

Mlpy是基於NumPy/SciPy的Python機器學習模組，它是Cython的擴充套件應用。包含的機器學習演算法很多，有時間單獨寫一篇記錄

2.4 PyBrain

“PyBrain(Python-Based Reinforcement Learning, Artificial Intelligence and Neural Network)是Python的一個機器學習模組，它的目標是為機器學習任務提供靈活、易應、強大的機器學習演算法。（這名字很霸氣）

PyBrain正如其名，包括神經網路、強化學習(及二者結合)、無監督學習、進化演算法。因為目前的許多問題需要處理連續態和行為空間，必須使用函式逼近(如神經網路)以應對高維資料。PyBrain以神經網路為核心，所有的訓練方法都以神經網路為一個例項。”

2.5 Theano 

“Theano 是一個 Python 庫，用來定義、優化和模擬數學表示式計算，用於高效的解決多維陣列的計算問題。Theano的特點：緊密整合Numpy；高效的資料密集型GPU計算；高效的符號微分運算；高速和穩定的優化；動態生成c程式碼；廣泛的單元測試和自我驗證。自2007年以來，Theano已被廣泛應用於科學運算。theano使得構建深度學習模型更加容易，可以快速實現多種模型。PS：Theano，一位希臘美女，Croton最有權勢的Milo的女兒，後來成為了畢達哥拉斯的老婆。”

NLTK(Natural Language Toolkit)是Python的自然語言處理模組，包括一系列的字元處理和語言統計模型。NLTK 常用於學術研究和教學，應用的領域有語言學、認知科學、人工智慧、資訊檢索、機器學習等。 NLTK提供超過50個語料庫和詞典資源，文字處理庫包括分類、分詞、詞幹提取、解析、語義推理。可穩定執行在Windows, Mac OS X和Linux平臺上. 

專案主頁：

2.7  Pylearn2

“Pylearn2建立在theano上，部分依賴scikit-learn上，目前Pylearn2正處於開發中，將可以處理向量、影象、視訊等資料，提供MLP、RBM、SDA等深度學習模型。”

三. Python網頁爬蟲工具

一個真實的專案，一定是從獲取資料開始的。無論文字處理，機器學習和資料探勘，都需要資料，除了通過一些渠道購買或者下載的專業資料外，常常需要自己動手爬資料，這個時候，爬蟲就顯得格外重要了，幸好，Python提供了一批很不錯的網頁爬蟲工具框架，既能爬取資料，也能獲取和清洗資料，以前爬過一些火影和海賊的資料來玩：

3.1 Scrapy

鼎鼎大名的Scrapy，相信不少同學都有耳聞，課程圖譜中的很多課程都是依靠Scrapy抓去的，這方面的介紹文章有很多，推薦大牛pluskid早年的一篇文章：《Scrapy 輕鬆定製網路爬蟲》，歷久彌新。

3.2 Beautiful Soup

客觀的說，Beautifu Soup不完全是一套爬蟲工具，需要配合urllib使用，而是一套HTML / XML資料分析，清洗和獲取工具。

3.3 Python-Goose

Goose最早是用Java寫得，後來用Scala重寫，是一個Scala專案。Python-Goose用Python重寫，依賴了Beautiful Soup。前段時間用過，感覺很不錯，給定一個文章的URL, 獲取文章的標題和內容很方便。

四. Python文字處理工具

獲取文字資料之後，依據任務的不同，就需要進行基本的文字處理了，譬如對於英文來說，需要基本的tokenize，對於中文，則需要常見的中文分詞，進一步的話，無論英文中文，還可以詞性標註，句法分析，關鍵詞提取，文字分類，情感分析等等。這個方面，特別是面向英文領域，有很多優秀的工具包，我們一一道來。

4.1 NLTK — Natural Language Toolkit

搞自然語言處理的同學應該沒有人不知道NLTK吧，這裡也就不多說了。不過推薦兩本書籍給剛剛接觸NLTK或者需要詳細瞭解NLTK的同學: 一個是官方的《Natural Language Processing with Python》，以介紹NLTK裡的功能用法為主，同時附帶一些Python知識，同時國內陳濤同學友情翻譯了一箇中文版，這裡可以看到：推薦《用Python進行自然語言處理》中文翻譯-NLTK配套書；另外一本是《Python Text Processing with NLTK 2.0 Cookbook》，這本書要深入一些，會涉及到NLTK的程式碼結構，同時會介紹如何定製自己的語料和模型等，相當不錯。

4.2 Pattern

Pattern由比利時安特衛普大學CLiPS實驗室出品，客觀的說，Pattern不僅僅是一套文字處理工具，它更是一套web資料探勘工具，囊括了資料抓取模組（包括Google, Twitter, 維基百科的API，以及爬蟲和HTML分析器），文字處理模組（詞性標註，情感分析等），機器學習模組(VSM, 聚類，SVM）以及視覺化模組等，可以說，Pattern的這一整套邏輯也是這篇文章的組織邏輯，不過這裡我們暫且把Pattern放到文字處理部分。我個人主要使用的是它的英文處理模組Pattern.en, 有很多很不錯的文字處理功能，包括基礎的tokenize, 詞性標註，句子切分，語法檢查，拼寫糾錯，情感分析，句法分析等，相當不錯。

4.3 TextBlob: Simplified Text Processing

TextBlob是一個很有意思的Python文字處理工具包，它其實是基於上面兩個Python工具包NLKT和Pattern做了封裝（TextBlob stands on the giant shoulders of NLTK and pattern, and plays nicely with both），同時提供了很多文字處理功能的介面，包括詞性標註，名詞短語提取，情感分析，文字分類，拼寫檢查等，甚至包括翻譯和語言檢測，不過這個是基於Google的API的，有呼叫次數限制。TextBlob相對比較年輕，有興趣的同學可以關注。 

4.4 MBSP for Python

MBSP與Pattern同源，同出自比利時安特衛普大學CLiPS實驗室，提供了Word Tokenization, 句子切分，詞性標註，Chunking, Lemmatization，句法分析等基本的文字處理功能，感興趣的同學可以關注。

4.5 Gensim: Topic modeling for humans

Gensim是一個相當專業的主題模型Python工具包，無論是程式碼還是文件，我們曾經用《如何計算兩個文件的相似度》介紹過Gensim的安裝和使用過程，這裡就不多說了。 

4.6 langid.py: Stand-alone language identification system

語言檢測是一個很有意思的話題，不過相對比較成熟，這方面的解決方案很多，也有很多不錯的開源工具包，不過對於Python來說，我使用過langid這個工具包，也非常願意推薦它。langid目前支援97種語言的檢測，提供了很多易用的功能，包括可以啟動一個建議的server，通過json呼叫其API，可定製訓練自己的語言檢測模型等，可以說是“麻雀雖小，五臟俱全”。

4.7 Jieba

Jieba做最好的Python中文分片語件 “Jieba” (Chinese for “to stutter”) Chinese text segmentation: built to be the best Python Chinese word segmentation module.
好了，終於可以說一個國內的Python文字處理工具包了：結巴分詞，其功能包括支援三種分詞模式（精確模式、全模式、搜尋引擎模式），支援繁體分詞，支援自定義詞典等，是目前一個非常不錯的Python中文分詞解決方案。