Python資料處理之（一）為什麼要學習 Numpy & Pandas？
今天我們介紹兩個科學運算當中最為重要的兩個模組，一個是numpy,一個是 pandas。任何關於資料分析的模組都少不了它們兩個。
一、主要用途：
- 資料分析
- 機器學習
- 深度學習
二、為什麼使用 numpy & pandas
運算速度快：
numpy 和 pandas 都是採用 C 語言編寫, pandas 又是基於 numpy, 是 numpy 的升級版本。
消耗資源少：
採用的是矩陣運算，會比 python 自帶的字典或者列表快好多
相關推薦
Python資料處理之（一）為什麼要學習 Numpy & Pandas？
今天我們介紹兩個科學運算當中最為重要的兩個模組，一個是numpy,一個是 pandas。任何關於資料分析的模組都少不了它們兩個。 一、主要用途： 資料分析 機器學習 深度學習 二、為什麼使用 numpy & pandas
Python資料處理之（一）為什麼要學習 Numpy & Pandas？
今天我們介紹兩個科學運算當中最為重要的兩個模組，一個是numpy,一個是 pandas。任何關於資料分析的模組都少不了它們兩個。 一、主要用途： 資料分析 機器學習 深度學習 二、為什麼使用 n
Python資料處理之（三）Numpy建立array
一、關鍵字 array：建立陣列 dtype：指定資料型別 zeros：建立資料全為0 ones：建立資料全為1 empty：建立資料接近0 arrange：按指定範圍建立資料 linspace：建立線段
Python資料處理之（二）Numpy屬性
簡單介紹一下numpy中常見的三個屬性： ndim: 維度 shape: 行數和列數 size: 元素個數 使用numpy首先要匯入模組，為了方便
Python資料處理之（四）numpy基礎運算1
一、一維矩陣的基礎運算 下例中 a和b是兩個屬性為array也就是矩陣的變數，而且二者都是1行4列的矩陣， 其中b矩陣中的元素分別是從0到3。 如果我們想要求兩個矩陣之間的減法，你可以嘗試著輸入：a-b,得到的結果是對應元素相減的結果也就是[10 19 28 37]，同理元素的相加相
Python資料處理之（七）Numpy array 合併
一、np.vstack() 對array的合併，我們可以想到按行、按列等多種方式進行合併。 vertical stack本身屬於一種上下合併，即對括號中的兩個整體進行對應操作。 >>> import numpy as np >>> A=np.a
Python資料處理之（十）Pandas 基本介紹
一、Numpy 和 Pandas 有什麼不同 如果用 python 的列表和字典來作比較, 那麼可以說 Numpy 是列表形式的，沒有數值標籤，而 Pandas 就是字典形式。Pandas是基於Numpy構建的，讓Numpy為中心的應用變得更加簡單。 要使用pandas，首先需要
Python資料處理之（九）Numpy copy & deep copy
一、= 的賦值方式會有關聯性 首先匯入numpy並建立變數a,b,c,d >>> import numpy as np >>> a=np.arange(4) >>> print(a) [0 1 2 3] >>>
Python資料處理之（八）Numpy array分割
一、建立資料 匯入模組並建立3行4列的Array >>> import numpy as np >>> A=np.arange(12).reshape((3,4)) >>> print(A) [[ 0 1 2 3] [
Python資料處理之（六）numpy索引
一、一維索引 在元素列表或者陣列中，我們可以用如同a[2]一樣的索引方法，同樣的，在Numpy中也有相對應的表示方法。 >>> import numpy as np >>> A=np.arange(3,15) >>> prin
Python資料處理之（五）numpy基礎運算2
通過上一節的學習，我們可以瞭解到一部分矩陣中元素的計算和查詢操作。然而在日常使用中，對應元素的索引也是非常重要的。依然，讓我們先從一個指令碼開始 ： >>> import numpy as np >>> A=np.arange(2,14).resh
Python資料處理之（十 一）Pandas 選擇資料
首先先建立一個6X4的矩陣 >>> import pandas as pd >>> import numpy as np >>> dates=pd.date_range('20181121',periods=6) >>
Python資料處理之（十 五）Pandas 合併concat
一、要點 pandas處理多組資料的時候往往會要用到資料的合併處理,使用 concat是一種基本的合併方式.而且concat中有很多引數可以調整,合併成你想要的資料形式. 二、axis(合併方向) axis=0是預設值，因此未設定任何引數時，函式預設axis=0。 >
Python資料處理之（十 八）10分鐘搞定matplotlib
Matplotlib 簡介 1.1 為什麼用 Matplotlib 1.2 Matplotlib 安裝 基本使用 2.1 基本用法 2.2 figure 影象 2.3 設定座標軸1 2.4 設定座標軸2 2.5 Legend 圖例 2.6 Annota
Python資料處理之（十 七）Pandas plot畫圖
這次我們講如何將資料視覺化. 首先import我們需要用到的模組，除了 pandas，我們也需要使用 numpy 生成一些資料，這節裡使用的 matplotlib 僅僅是用來 show 圖片的, 即 plt.show()。 import pandas as pd import num
Python資料處理之（十 六）Pandas 合併merce
要點 pandas中的merge和concat類似,但主要是用於兩組有key column的資料,統一索引的資料. 通常也被用在Database的處理當中. 依據一組key合併 import pandas as pd #定義資料集並打印出 left = pd.DataFrame({
Python資料處理之（十 四）Pandas 匯入匯出
pandas可以讀取與存取的資料格式有很多種，像csv、excel、json、html與pickle等…， 詳細請看官方說明檔案 一、讀取csv 下面的例子假設當前路徑中有xxx.csv檔案： >>> import pandas as pd >>
Python資料處理之（十 三）Pandas 處理丟失資料
建立含 NaN 的矩陣 有時候我們匯入或處理資料, 會產生一些空的或者是NaN資料,如何刪除或者是填補這些 NaN 資料就是我們今天所要提到的內容. 建立了一個6X4的矩陣資料並且把兩個位置置為空. >>> dates=pd.date_range('20181
Python資料處理之（十 二）Pandas 設定值
一、建立資料 我們可以根據自己的需求, 用 pandas 進行更改資料裡面的值, 或者加上一些空的,或者有數值的列. 首先建立了一個 6X4 的矩陣資料。 >>> import pandas as pd >>> import numpy a
海量資料處理專題（一）(轉)
下面的方法是我對海量資料的處理方法進行了一個一般性的總結，當然這些方法可能並不能完全覆蓋所有的問題，但是這樣的一些方法也基本可以處理絕大多數遇到的問題。下面的一些問題基本直接來源於公司的面試筆試題目，方法不一定最優，如果你有更好的處理方法，歡迎與我討論。