2. 程式人生 > 其它 >爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——1.什麼是Pandas

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——1.什麼是Pandas

阿新 • • 發佈：2021-10-27

什麼是Pandas

  • Pandas 是 Python 語言的一個擴充套件程式庫，用於資料分析。
  • Pandas 是一個開放原始碼、BSD 許可的庫，提供高效能、易於使用的資料結構和資料分析工具。
  • Pandas 名字衍生自術語 "panel data"（面板資料）和 "Python data analysis"（Python 資料分析）。
  • Pandas 一個強大的分析結構化資料的工具集，基礎是 Numpy（提供高效能的矩陣運算）。
  • Pandas 可以從各種檔案格式比如 CSV、JSON、SQL、Microsoft Excel 匯入資料。
  • Pandas 可以對各種資料進行運算操作，比如歸併、再成形、選擇，還有資料清洗和資料加工特徵。
  • Pandas 廣泛應用在學術、金融、統計學等各個資料分析領域。

Pandas應用

Pandas 的主要資料結構是 Series （一維資料）與 DataFrame（二維資料），這兩種資料結構足以處理金融、統計、社會科學、工程等領域裡的大多數典型用例。

資料結構

Series 是一種類似於一維陣列的物件，它由一組資料（各種Numpy資料型別）以及一組與之相關的資料標籤（即索引）組成。

DataFrame 是一個表格型的資料結構，它含有一組有序的列，每列可以是不同的值型別（數值、字串、布林型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 組成的字典（共同用一個索引）。

相關連結

參考網址

有志者，事竟成，破釜沉舟，百二秦關終屬楚； 苦心人，天不負，臥薪嚐膽，三千越甲可吞吳。

相關推薦

爬蟲與Python：（四）爬蟲進階一之資料抓取——2.Python模擬Ajax

如何用用Python模擬Ajax請求，我們仍然以飛常準大資料為例（https://data.variflight.com/analytics/CodeQuery），通過查詢北京機場的三個字母碼“PEK”來請求獲取它的資料，把北京機場的資訊提取出來。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——1.什麼是Pandas

什麼是Pandas Pandas 是 Python 語言的一個擴充套件程式庫，用於資料分析。 Pandas 是一個開放原始碼、BSD 許可的庫，提供高效能、易於使用的資料結構和資料分析工具。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——3.資料結構Series

1. 定義 Pandas Series 類似表格中的一個列（column），類似於一維陣列，可以儲存任何資料型別。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——4.資料結構DataFrame

1. 定義 DataFrame 是一個表格型的資料結構，它含有一組有序的列，每列可以是不同的值型別（數值、字串、布林型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 組成的字典（共同用一個索引）。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——5.CSV檔案

1. 定義 CSV（Comma-Separated Values，逗號分隔值，有時也稱為字元分隔值，因為分隔字元也可以不是逗號），其檔案以純文字形式儲存表格資料（數字和文字）。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——6.JSON化

JSON（JavaScript Object Notation，JavaScript 物件表示法），是儲存和交換文字資訊的語法，類似 XML。

爬蟲與Python：（四）爬蟲進階擴充套件之Pandas——7.資料清洗

說明 資料清洗是對一些沒有用的資料進行處理的過程。 很多資料集存在資料缺失、資料格式錯誤、錯誤資料或重複資料的情況，如果要對使資料分析更加準確，就需要對這些沒有用的資料進行處理。

爬蟲與Python：（四）爬蟲進階二之資料儲存（資料庫儲存）——7.Redis儲存

Redis是一個開源的使用ANSI C語言編寫、遵從BSD協議、支援網路，以及可基於記憶體也可持久化日誌、Key-Value資料庫、並提供多種語言的API。它通常被稱為資料結構伺服器，因為值（value）可以是字串（string）、雜湊

爬蟲與Python：（四）爬蟲進階二之資料儲存（資料庫儲存）——8.PostgreSQL儲存

安裝PostgreSQL資料庫方法詳見：https://www.cnblogs.com/luyj00436/p/15525370.html。 安裝庫

爬蟲與Python：（一）網路爬蟲概念篇——7.Session和Cookie

什麼是Session和Cookie? Session和Cookie是使用者保持HTTP連線狀態的技術。在網頁或APP等應用中基本都會使用到。在寫爬蟲的時候，也經常會涉及需要攜帶Cookie應對一般的反爬，接下來會對Session和Cookie的基本原理做

爬蟲與Python：（二）Python基礎篇——5.字串

資料型別中包含字串。這裡我們將會拓展一些有字串的有關的基礎知識。 Python中訪問字串的值

爬蟲與Python：（二）Python基礎篇——6.編碼

字串也是一種資料型別，但是字串比較特殊的還是編碼問題。因為計算機只能處理數字，如果要處理文字，就必須吧文字轉化為數字。最早計算機在設計時採用了8個位元（bit）作為位元組（Byte），所以，一個位元組能表示的

爬蟲與Python：（二）Python基礎篇——7.列表

序列是Python中最基本的資料結構。序列中的每個元素都分配一個數字，即它的位置或索引，第一個索引時0，第二個索引是1，以此類推Python有6個序列內建型別，但最常見的是列表和元組。許可都可以進行的操作包括索引、

爬蟲與Python：（二）Python基礎篇——9.字典

字典是一種可變容器模型，且可儲存任意型別的物件，用{} 標識。字典是一個無序的鍵和值的集合——key:value 。

爬蟲與Python：（二）Python基礎篇——10.條件語句

語法 Python條件語句是通過一條或多條語句執行結果（True或False）來決定執行的程式碼塊。使用if語句來進行判斷，在Python中if語句一般格式如下：

爬蟲與Python：（二）Python基礎篇——11.迴圈語句

Python中迴圈語句有for和while。Python迴圈語句控制結構如圖1-25所示。 for迴圈 在Python中for迴圈可以變數任何序列的專案，如一個列表或一個字串。for迴圈一般格式如下：

爬蟲與Python：（二）Python基礎篇——12.函式

函式是組織好的、可以重複使用的、用來實現單一或相關功能的程式碼段。函式能提高應用的模組性和程式碼的重複利用率。Python提供了許多內建函式。如print()，但也可以自己建立函式，這被稱為使用者自定義函式。

爬蟲與Python：（二）Python基礎篇——13.類

Python中的類提供了面向物件變成的所有基本功能：類的繼承機制允許多個基類，派生類可以覆蓋基類中的任何方法，方法中呼叫類的同名方法。以下是本文將要學習的內容：

爬蟲與Python：（三）基本庫的使用——2.網路請求庫之request安裝

Python爬蟲中，除了urlib()外，還有一個使用的比較多的HTTP請求庫——requests。這個庫也是常用於HTTP請求模組，它使用Python語言編寫，可以方便的對網頁進行爬取，是學習Python比較好的HTTP請求模組。

爬蟲與Python：（三）基本庫的使用——3.網路請求庫之request使用介紹

Python爬蟲中，除了urlib()外，還有一個使用的比較多的HTTP請求庫——requests。這個庫也是常用於HTTP請求模組，它使用Python語言編寫，可以方便的對網頁進行爬取，是學習Python比較好的HTTP請求模組。