python資料分析中常用的庫
Python是資料處理常用工具,可以處理數量級從幾K至幾T不等的資料,具有較高的開發效率和可維護性,還具有較強的通用性和跨平臺性。Python可用於資料分析,但其單純依賴Python本身自帶的庫進行資料分析還是具有一定的侷限性的,需要安裝第三方擴充套件庫來增強分析和挖掘能力。
Python資料分析需要安裝的第三方擴充套件庫有:Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等,以下是千鋒武漢Python培訓老師對該第三方擴充套件庫的簡要介紹:
1. Pandas
Pandas是Python強大、靈活的資料分析和探索工具,包含Series、DataFrame等高階資料結構和工具,安裝Pandas可使Python中處理資料非常快速和簡單。
Pandas是Python的一個數據分析包,Pandas最初被用作金融資料分析工具而開發出來,因此Pandas為時間序列分析提供了很好的支援。
Pandas是為了解決資料分析任務而建立的,Pandas納入了大量的庫和一些標準的資料模型,提供了高效的操作大型資料集所需要的工具。Pandas提供了大量是我們快速便捷的處理資料的函式和方法。Pandas包含了高階資料結構,以及讓資料分析變得快速、簡單的工具。它建立在Numpy之上,使得Numpy應用變得簡單。
帶有座標軸的資料結構,支援自動或明確的資料對齊。這能防止由於資料結構沒有對齊,以及處理不同來源、採用不同索引的資料而產生的常見錯誤。
使用Pandas更容易處理丟失資料。
合併流行資料庫(如:基於SQL的資料庫)
Pandas是進行資料清晰/整理的最好工具。
2. Numpy
Python沒有提供陣列功能,Numpy可以提供陣列支援以及相應的高效處理函式,是Python資料分析的基礎,也是SciPy、Pandas等資料處理和科學計算庫最基本的函式功能庫,且其資料型別對Python資料分析十分有用。
Numpy提供了兩種基本的物件:ndarray和ufunc。ndarray是儲存單一資料型別的多維陣列,而ufunc是能夠對陣列進行處理的函式。Numpy的功能:
- N維陣列,一種快速、高效使用記憶體的多維陣列,他提供向量化數學運算。
- 可以不需要使用迴圈,就能對整個陣列內的資料進行標準數學運算。
- 非常便於傳送資料到用低階語言編寫(C\C++)的外部庫,也便於外部庫以Numpy陣列形式返回資料。
Numpy不提供高階資料分析功能,但可以更加深刻的理解Numpy陣列和麵向陣列的計算。
3. Matplotlib
Matplotlib是強大的資料視覺化工具和作相簿,是主要用於繪製資料圖表的Python庫,提供了繪製各類視覺化圖形的命令字型檔、簡單的介面,可以方便使用者輕鬆掌握圖形的格式,繪製各類視覺化圖形。
Matplotlib是Python的一個視覺化模組,他能方便的只做線條圖、餅圖、柱狀圖以及其他專業圖形。
使用Matplotlib,可以定製所做圖表的任一方面。他支援所有作業系統下不同的GUI後端,並且可以將圖形輸出為常見的向量圖和圖形測試,如PDF SVG JPG PNG BMP GIF.通過資料繪圖,我們可以將枯燥的數字轉化成人們容易接收的圖表。
Matplotlib是基於Numpy的一套Python包,這個包提供了吩咐的資料繪圖工具,主要用於繪製一些統計圖形。
Matplotlib有一套允許定製各種屬性的預設設定,可以控制Matplotlib中的每一個預設屬性:影象大小、每英寸點數、線寬、色彩和樣式、子圖、座標軸、網個屬性、文字和文字屬性。
4. SciPy
SciPy是一組專門解決科學計算中各種標準問題域的包的集合,包含的功能有最優化、線性代數、積分、插值、擬合、特殊函式、快速傅立葉變換、訊號處理和影象處理、常微分方程求解和其他科學與工程中常用的計算等,這些對資料分析和挖掘十分有用。
Scipy是一款方便、易於使用、專門為科學和工程設計的Python包,它包括統計、優化、整合、線性代數模組、傅立葉變換、訊號和影象處理、常微分方程求解器等。Scipy依賴於Numpy,並提供許多對使用者友好的和有效的數值例程,如數值積分和優化。
Python有著像Matlab一樣強大的數值計算工具包Numpy;有著繪圖工具包Matplotlib;有著科學計算工具包Scipy。
Python能直接處理資料,而Pandas幾乎可以像SQL那樣對資料進行控制。Matplotlib能夠對資料和記過進行視覺化,快速理解資料。Scikit-Learn提供了機器學習演算法的支援,Theano提供了升讀學習框架(還可以使用CPU加速)。
5. Keras
Keras是深度學習庫,人工神經網路和深度學習模型,基於Theano之上,依賴於Numpy和Scipy,利用它可以搭建普通的神經網路和各種深度學習模型,如語言處理、影象識別、自編碼器、迴圈神經網路、遞迴審計網路、卷積神經網路等。
6. Scikit-Learn
Scikit-Learn是Python常用的機器學習工具包,提供了完善的機器學習工具箱,支援資料預處理、分類、迴歸、聚類、預測和模型分析等強大機器學習庫,其依賴於Numpy、Scipy和Matplotlib等。
Scikit-Learn是基於Python機器學習的模組,基於BSD開源許可證。
Scikit-Learn的安裝需要Numpy Scopy Matplotlib等模組,Scikit-Learn的主要功能分為六個部分,分類、迴歸、聚類、資料降維、模型選擇、資料預處理。
Scikit-Learn自帶一些經典的資料集,比如用於分類的iris和digits資料集,還有用於迴歸分析的boston house prices資料集。該資料集是一種字典結構,資料儲存在.data成員中,輸出標籤儲存在.target成員中。Scikit-Learn建立在Scipy之上,提供了一套常用的機器學習演算法,通過一個統一的介面來使用,Scikit-Learn有助於在資料集上實現流行的演算法。
Scikit-Learn還有一些庫,比如:用於自然語言處理的Nltk、用於網站資料抓取的Scrappy、用於網路挖掘的Pattern、用於深度學習的Theano等。
7. Scrapy
Scrapy是專門為爬蟲而生的工具,具有URL讀取、HTML解析、儲存資料等功能,可以使用Twisted非同步網路庫來處理網路通訊,架構清晰,且包含了各種中介軟體介面,可以靈活的完成各種需求。
8. Gensim
Gensim是用來做文字主題模型的庫,常用於處理語言方面的任務,支援TF-IDF、LSA、LDA和Word2Vec在內的多種主題模型演算法,支援流式訓練,並提供了諸如相似度計算、資訊檢索等一些常用任務的API介面。
以上是對Python資料分析常用工具的簡單介紹,有興趣的可以深入學習研究一下相關使用方法!