從Excel到Python：最常用的36個Pandas函式
本文涉及pandas最常用的36個函式，通過這些函式介紹如何完成資料生成和匯入、資料清洗、預處理，以及最常見的資料分類，資料篩選，分類彙總，透視等最常見的操作。
生成資料表
常見的生成資料表的方法有兩種，第一種是匯入外部資料，第二
種是直接寫入資料。Excel中的“檔案”選單中提供了獲取外部資料的功能，支援資料庫和文字檔案和頁面的多種資料來源匯入。
Python支援從多種型別的資料匯入。在開始使用Python進行資料
匯入前需要先匯入pandas庫，為了方便起見，我們也同時匯入numpy
庫.
import numpy as np
import pandas as pd匯入外部資料
df=pd.DataFrame(pd.read_csv('name.csv',header=1)) df=pd.DataFrame(pd.read_Excel('name.xlsx'))c
裡面有很多可選引數設定，例如列名稱、索引列、資料格式等
直接寫入資料
df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], "date":pd.date_range('20130102', periods=6), "city":['Beijing ', 'SH', ' guangzhou ', 'Shen zhen', 'shanghai', 'BEIJING '], "age":[23,44,54,32,34,32], "category":['100-A','100-B','110-A','110-C','2 10-A','130-F'], "price":[1200,np.nan,2133,5433,np.nan,4432]}, columns =['id','date','city','category','age', 'price'])
資料表檢查
資料表檢查的目的是瞭解資料表的整體情況，獲得資料表的關鍵資訊、資料的概況，例如整個資料表的大小、所佔空間、資料格式、是否有
空值和重複項和具體的資料內容，為後面的清洗和預處理做好準備。
1.資料維度(行列)
Excel中可以通過CTRL+向下的游標鍵，和CTRL+向右的游標鍵
來檢視行號和列號。Python中使用shape函式來檢視資料表的維度，也就是行數和列數。
df.shape2.資料表資訊
使用info函式檢視資料表的整體資訊，包括資料維度、列名稱、資料格式和所佔空間等資訊。
資料表資訊
df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 6 entries, 0 to 5 Data columns (total 6 columns): id 6 non-null int64 date 6 non-null datetime64[ns] city 6 non-null object category 6 non-null object age 6 non-null int64 price 4 non-null float64 dtypes: datetime64[ns](1), float64(1), int64(2), object(2) memory usage: 368.0+ bytes
3.檢視資料格式
Excel中通過選中單元格並檢視開始選單中的數值型別來判斷數
據的格式。Python中使用dtypes函式來返回資料格式。
Dtypes是一個檢視資料格式的函式，可以一次性檢視資料表中所
有資料的格式，也可以指定一列來單獨檢視
#檢視資料表各列格式
df.dtypes
id int64
date datetime64[ns]
city object
category object
age int64
price float64
dtype: object
#檢視單列格式
df['B'].dtype
dtype('int64')4.檢視空值
Excel中檢視空值的方法是使用“定位條件”在“開始”目錄下的“查詢和選擇”目錄.
Isnull是Python中檢驗空值的函式
#檢查資料空值
df.isnull()
#檢查特定列空值
df['price'].isnull()
5.檢視唯一值
Excel中檢視唯一值的方法是使用“條件格式”對唯一值進行顏色
標記。
Python中使用unique函式檢視唯一值。
#檢視city列中的唯一值
df['city'].unique()
array(['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', '
BEIJING '], dtype=object)6.檢視資料表數值
Python中的Values函式用來檢視資料表中的數值
#檢視資料表的值
df.values
7.檢視列名稱
Colums函式用來單獨檢視資料表中的列名稱。
#檢視列名稱
df.columns
Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='
object')8.檢視前10行資料
Head函式用來檢視資料表中的前N行資料
#檢視前3行資料
df.head(3)9.檢視後10行資料
Tail行數與head函式相反，用來檢視資料表中後N行的資料
#檢視最後3行
df.tail(3)資料表清洗
本章介紹對資料表中的問題進行清洗，包括對空值、大小寫問題、資料格式和重複值的處理。
1.處理空值(刪除或填充)
Excel中可以通過“查詢和替換”功能對空值進行處理
Python中處理空值的方法比較靈活，可以使用 Dropna函式用來刪除資料表中包含空值的資料，也可以使用fillna函式對空值進行填充。
#刪除資料表中含有空值的行
df.dropna(how='any')
也可以使用數字對空值進行填充
#使用數字0填充資料表中空值
df.fillna(value=0)使用price列的均值來填充NA欄位，同樣使用fillna函式，在要填充的數值中使用mean函式先計算price列當前的均值，然後使用這個均值對NA進行填充。
#使用price均值對NA進行填充
df['price'].fillna(df['price'].mean())
Out[8]:
0 1200.0
1 3299.5
2 2133.0
3 5433.0
4 3299.5
5 4432.0
Name: price, dtype: float64
2.清理空格
字元中的空格也是資料清洗中一個常見的問題
#清除city欄位中的字元空格
df['city']=df['city'].map(str.strip)3.大小寫轉換
在英文欄位中，字母的大小寫不統一也是一個常見的問題。
Excel中有UPPER，LOWER等函式，Python中也有同名函式用來解決
大小寫的問題。
#city列大小寫轉換
df['city']=df['city'].str.lower()
4.更改資料格式
Excel中通過“設定單元格格式”功能可以修改資料格式。
Python中通過astype函式用來修改資料格式。
#更改資料格式
df['price'].astype('int')
0 1200
1 3299
2 2133
3 5433
4 3299
5 4432
Name: price, dtype: int325.更改列名稱
Rename是更改列名稱的函式，我們將來資料表中的category列更改為category-size。
#更改列名稱
df.rename(columns={'category': 'category-size'})
6.刪除重複值
Excel的資料目錄下有“刪除重複項”的功能
Python中使用drop_duplicates函式刪除重複值
df['city']
0 beijing
1 sh
2 guangzhou
3 shenzhen
4 shanghai
5 beijing
Name: city, dtype: objectcity列中beijing存在重複，分別在第一位和最後一位
drop_duplicates()函式刪除重複值
#刪除後出現的重複值
df['city'].drop_duplicates()
0 beijing
1 sh
2 guangzhou
3 shenzhen
4 shanghai
Name: city, dtype: object設定keep='last‘’引數後，與之前刪除重複值的結果相反，第一位
出現的beijing被刪除
#刪除先出現的重複值
df['city'].drop_duplicates(keep='last')
1 sh
2 guangzhou
3 shenzhen
4 shanghai
5 beijing
Name: city, dtype: objec7.數值修改及替換
Excel中使用“查詢和替換”功能就可以實現數值的替換
Python中使用replace函式實現資料替換
#資料替換
df['city'].replace('sh', 'shanghai')
0 beijing
1 shanghai
2 guangzhou
3 shenzhen
4 shanghai
5 beijing
Name: city, dtype: object資料預處理
本章主要講的是資料的預處理，對清洗完的資料進行整理以便後期的統計和分析工作。主要包括資料表的合併，排序，數值分列，資料分組及標記等工作。
1.資料表合併
在Excel中沒有直接完成資料表合併的功能，可以通過VLOOKUP函式分步實現。
在Python中可以通過merge函式一次性實現。
#建立df1資料表
df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008],
"gender":['male','female','male','female','male
','female','male','female'],
"pay":['Y','N','Y','Y','N','Y','N','Y',],
"m-point":[10,12,20,40,40,40,30,20]})
使用merge函式對兩個資料表進行合併，合併的方式為inner，將
兩個資料表中共有的資料匹配到一起生成新的資料表。並命名為
df_inner。
#資料表匹配合並
df_inner=pd.merge(df,df1,how='inner')
合併的方式還有left，right和outer方式
df_left=pd.merge(df,df1,how='left')
df_right=pd.merge(df,df1,how='right')
df_outer=pd.merge(df,df1,how='outer')2.設定索引列
索引列可以進行資料提取，彙總，資料篩選
#設定索引列
df_inner.set_index('id')
3.排序(按索引，按數值)
Excel中可以通過資料目錄下的排序按鈕直接對資料表進行排
序
Python中需要使用ort_values函式和sort_index函式完成排序
#按特定列的值排序
df_inner.sort_values(by=['age'])
Sort_index函式用來將資料表按索引列的值進行排序。
#按索引列排序
df_inner.sort_index()
4.資料分組
Excel中可以通過VLOOKUP函式進行近似匹配來完成對數值的分組，或者使用“資料透視表”來完成分組
Python中使用Where函式用來對資料進行判斷和分組
#如果price列的值>3000，group列顯示high，否則顯示low
df_inner['group'] = np.where(df_inner['price'] > 3000,'high','low
')
還可以對多個欄位的值進行判斷後對資料進行分組，下面的程式碼中對city列等於beijing並且price列大於等於4000的資料標記為1。
#對複合多個條件的資料進行分組標記
df_inner.loc[(df_inner['city'] == 'beijing') & (df_inner['price']
>= 4000), 'sign']=1
5.資料分列
Excel中的資料目錄下提供“分列”功能。
在Python中使用split函式實現分列在資料表中category列中的資料包含有兩個資訊，前面的數字為類別id，後面的字母為size值。中間以連字元進行連線。我們使用split函式對這個欄位進行拆分，並將拆分後的資料表匹配回原資料表中。
#對category欄位的值依次進行分列，並建立資料表，索引值為df_inner的索引列，列名稱為category和size
pd.DataFrame((x.split('-') for x in df_inner['category']),index=d
f_inner.index,columns=['category','size'])
#將完成分列後的資料表與原df_inner資料表進行匹配
df_inner=pd.merge(df_inner,split,right_index=True, left_index=Tru
e)
資料提取
1.按標籤提取(loc)
#按索引提取單行的數值
df_inner.loc[3]
id 1004
date 2013-01-05 00:00:00
city shenzhen
category 110-C
age 32
price 5433
gender female
m-point 40
pay Y
group high
sign NaN
category_1 110
size C
Name: 3, dtype: object使用冒號可以限定提取資料的範圍，冒號前面為開始的標籤值後面為結束的標籤值。
#按索引提取區域行數值
df_inner.loc[0:5]
Reset_index函式用於恢復索引，這裡我們重新將date欄位的日期
設定為資料表的索引，並按日期進行資料提取。
#重設索引
df_inner.reset_index()
#設定日期為索引
df_inner=df_inner.set_index('date')
#提取4日之前的所有資料
df_inner[:'2013-01-04']
2.按位置提取(iloc)
使用iloc函式按位置對資料表中的資料進行提取，這裡冒號前後
的數字不再是索引的標籤名稱，而是資料所在的位置，從0開始。
#使用iloc按位置區域提取資料
df_inner.iloc[:3,:2]
iloc函式除了可以按區域提取資料，還可以按位置逐條提取
#使用iloc按位置單獨提取資料
df_inner.iloc[[0,2,5],[4,5]]前面方括號中的0,2,5表示資料所在行的位置，後面方括號中的數表示所在列的位置。
3.按標籤和位置提取（ix）
ix是loc和iloc的混合，既能按索引標籤提取，也能按位置進行數
據提取.
#使用ix按索引標籤和位置混合提取資料
df_inner.ix[:'2013-01-03',:4]
4.按條件提取（區域和條件值）
使用loc和isin兩個函式配合使用，按指定條件對資料進行提取
#判斷city列的值是否為beijing
df_inner['city'].isin(['beijing'])
date
2013-01-02 True
2013-01-05 False
2013-01-07 True
2013-01-06 False
2013-01-03 False
2013-01-04 False
Name: city, dtype: bool將isin函式巢狀到loc的資料提取函式中，將判斷結果為Ture資料
提取出來。這裡我們把判斷條件改為city值是否為beijing和shanghai。如果是就把這條資料提取出來。
#先判斷city列裡是否包含beijing和shanghai，然後將複合條件的資料提取出來。
df_inner.loc[df_inner['city'].isin(['beijing','shanghai'])]
資料篩選
按條件篩選（與、或、非）
Excel資料目錄下提供了“篩選”功能，用於對資料表按不同的條
件進行篩選。
Python中使用loc函式配合篩選條件來完成篩選功能。配合sum和count函式還能實現Excel中sumif和countif函式的功能。
使用“與”條件進行篩選，條件是年齡大於25歲，並且城市為
beijing。
#使用“與”條件進行篩選
df_inner.loc[(df_inner['age'] > 25) & (df_inner['city'] == 'beiji
ng'), ['id','city','age','category','gender']]/
#使用“或”條件篩選
df_inner.loc[(df_inner['age'] > 25) | (df_inner['city'] == 'beiji
ng'), ['id','city','age','category','gender']].sort(['age'])
#使用“非”條件進行篩選
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age',
'category','gender']].sort(['id'])
在前面的程式碼後面增加city列，並使用count函式進行計數。相當於Excel中的countifs函式的功能
#對篩選後的資料按city列進行計數
df_inner.loc[(df_inner['city'] != 'beijing'), ['id','city','age',
'category','gender']].sort(['id']).city.count()還有一種篩選的方式是用query函式
#使用query函式進行篩選
df_inner.query('city == ["beijing", "shanghai"]')
在前面的程式碼後增加price欄位和sum函式。對篩選後的price欄位
進行求和，相當於Excel中的sumifs函式的功能。
#對篩選後的結果按price進行求和
df_inner.query('city == ["beijing", "shanghai"]').price.sum()
12230資料彙總
Excel中使用分類彙總和資料透視可以按特定維度對資料進行彙總，Python中使用的主要函式是groupby和pivot_table。
1.分類彙總
#對所有列進行計數彙總
df_inner.groupby('city').count()/
#對特定的ID列進行計數彙總
df_inner.groupby('city')['id'].count()
city
beijing 2
guangzhou 1
shanghai 2
shenzhen 1
Name: id, dtype: int64#對兩個欄位進行彙總計數
df_inner.groupby(['city','size'])['id'].count()
city size
beijing A 1
F 1
guangzhou A 1
shanghai A 1
B 1
shenzhen C 1
Name: id, dtype: int64還可以對彙總後的資料同時按多個維度進行計算
#對city欄位進行彙總並計算price的合計和均值。
df_inner.groupby('city')['price'].agg([len,np.sum, np.mean])
2.資料透視
Python中通過pivot_table函式實現同樣的效果
#設定city為行欄位，size為列欄位，price為值欄位。
分別計算price的數量和金額並且按行與列進行彙總。
pd.pivot_table(df_inner,index=["city"],values=["price"],columns=[
"size"],aggfunc=[len,np.sum],fill_value=0,margins=True)
資料統計
1.資料取樣
Excel的資料分析功能中提供了資料抽樣的功能
Python通過sample函式完成資料取樣
#簡單的資料取樣
df_inner.sample(n=3)
Weights引數是取樣的權重，通過設定不同的權重可以更改取樣的結果
#手動設定取樣權重
weights = [0, 0, 0, 0, 0.5, 0.5]
df_inner.sample(n=2, weights=weights)
Sample函式中引數replace，用來設定取樣後是否放回
#取樣後不放回
df_inner.sample(n=6, replace=False)
#取樣後放回
df_inner.sample(n=6, replace=True)2.描述統計
Python中可以通過Describe對資料進行描述統計
#資料表描述性統計
df_inner.describe().round(2).T
3.相關分析
Python中則通過corr函式完成相關分析的操作，並返回相關係數。
#相關性分析
df_inner['price'].corr(df_inner['m-point'])
0.77466555617085264
#資料表相關性分析
df_inner.corr()
資料輸出
1.寫入Excel
#輸出到Excel格式
df_inner.to_Excel('Excel_to_Python.xlsx', sheet_name='bluewhale_c
c')
2.寫入csv
#輸出到CSV格式
df_inner.to_csv('Excel_to_Python.csv')參考
王彥平《從Excel到Python：資料分析進階指南》
本文由部落格一文多發平臺 OpenWrite 釋出！