Python pandas自定義函式的使用方法示例
阿新 • • 發佈:2020-01-09
本文例項講述了Python pandas自定義函式的使用方法。分享給大家供大家參考,具體如下:
自定義函式的使用
import numpy as np import pandas as pd # todo 將自定義的函式作用到dataframe的行和列 或者Serise的行上 ser1 = pd.Series(np.random.randint(-10,10,5),index=list('abcde')) df1 = pd.DataFrame(np.random.randint(-10,(4,5)),index=list('ACBD'),columns=list('abcde')) # todo 定義一個函式,求其和,絕對值,最大值減最小值的差值,平方 def func(x): # print(x) print('--------------') num= np.max(x)-np.min(x) a = abs(x) b= x**2 # return num # return a return b print(ser1.apply(func)) def func1(x): # print(x) print('--------------') # num= np.max(x)-np.min(x) a = abs(x) b= x**2 # return num # return a return b print(df1.apply(func1,axis = 1)) # todo 使用匿名函式實現----求其和,絕對值,最大值減最小值的差值, print(df1.apply(lambda x:x**2,axis=1)) print('------') print(df1.apply(lambda x:np.max(x)-np.min(x),axis=1)) print('---------') print(df1.apply(lambda x:abs(x),axis=1)) # applymap的使用 # todo 使用applymap 因為applymap作用在每個元素上,所以不需要指定axis print(df1.applymap(lambda x:x**2)) print('---------') print(df1.applymap(lambda x:abs(x)))
排序
import numpy as np import pandas as pd ser1 = pd.Series(np.random.randint(-10,10),index=list('acbdfeghji')) df1 = pd.DataFrame(np.random.randint(-10,index=list('ADBC'),columns=list('abcde')) print(ser1) print(df1) print('------------------') # todo 按照索引排序 sort_index() # print(ser1.sort_index())#預設升序 # print(ser1.sort_index(ascending=False))#指定ascending為降序 # print(df1.sort_index())#預設行升序 # print(df1.sort_index(ascending=False))#行降序 # print(df1.sort_index(axis=1))#列升序 # print(df1.sort_index(ascending=False,axis=1))#列降序 # todo 按照值排序 print(ser1.sort_values())#預設升序 print(ser1.sort_values(ascending=False))#指定ascending為降序 # dataframe 物件比較複雜,需要按照哪一列來進行排序 print(df1.sort_values(by='a'))#預設列升序 print(df1.sort_values(by='a',ascending=False))#列降序 print(df1.sort_values(by='A',axis=1))#行升序 print(df1.sort_values(by='A',ascending=False,axis=1))#行降序
資料重構
import numpy as np import pandas as pd ser1 = pd.Series(np.random.randint(-10,index=[list('aabbccddee'),[1,2,1,2]]) df1 = pd.DataFrame(np.random.randint(-10,index=list('aabb'),columns=list('abcde')) print(ser1) print(df1) print('-----------------------') # todo 外層索引取值 print(ser1['a'])#獲取單個外層索引 print(ser1['a':'e'])#獲取多個外層 # todo 內層索引取值 print(ser1[:,1]) # todo 指定外層,內層索引取值 print(ser1['a',1]) # todo 交換分層-----swaplevel() print(ser1.swaplevel()) # todo 將Sterise轉為dataframe物件外層索引作為行索引,內層索引作為列索引 print(ser1.unstack()) # todo 將dataframe轉為Sterise物件行索引作為外層索引行索引,列索引作為內層索引列 print(df1.stack()) # todo dataframe 轉字典 print(df1.to_dict()) # todo dataframe 轉csv檔案 print(df1.to_csv())
資料連線操作
import numpy as np import pandas as pd df1 = pd.DataFrame( {'key1':list('abcdefgh'),'data1':np.random.randint(-5,8)} ) df2 = pd.DataFrame( {'key2':list('defgh'),'data2':np.random.randint(-5,5)} ) print(df1) print(df2) print('--------------------------') # todo 連結 # print(pd.merge(df1,df2,on='key'))# key相同時 通過key連線df1,df2 # print(pd.merge(df1,df2))#不指定,連線df1,df2預設通過相同的列來連線 # print(pd.merge(df1,on=data1))#data1相同時 通過data1連線df1,df2 #todo 交集 print(pd.merge(df1,left_on='key1',right_on='key2')) #todo 並集 print(pd.merge(df1,how='outer',right_on='key2')) #todo 左連線 print(pd.merge(df1,how='left',right_on='key2')) #todo 右連線 print(pd.merge(df1,how='right',right_on='key2')) # todo 通過行索引來指定 print(pd.merge(df1,left_on='data1',right_index=True))#left_on指定左表的列索引為外健,right_index作業為右表的行索引作為外檢 print(pd.merge(df1,left_index=True,right_index=True))#left_index,right_index,預設的情況下,將兩張表按照航索引的相同情況,合成一條資料 print(pd.merge(df1,right_index=True))# 按照行進行連線,也能指定連結方式
注意點:
1.how = inner,預設的,內連線,多表的交集
2.how = outer,外連線,多表的並集
3.how = left,指定為左連線,展示左表的完整資料,不管右表有沒有匹配
4.how = right,指定為右連線,展示右表的完整資料,不管左表有沒有匹配
資料的合併
import numpy as np import pandas as pd # todo np陣列的合併 np.concatenate(),參與合併的陣列,緯度大小是一致的,axis=1 為行排序 # arr1 = np.random.randint(10,20,(3,4)) # arr2 = np.random.randint(10,4)) # print(arr1) # print(arr2) # print('-------------') # print(np.concatenate((arr1,arr2),axis=0)) #列合併 # print('----------') # print(np.concatenate((arr1,axis=1)) # 行合併 # todo pd的合併 pd.concat() # ser1 = pd.Series(np.random.randint(10,3)) # ser2 = pd.Series(np.random.randint(10,5)) # ser3 = pd.Series(np.random.randint(10,7)) # print(ser1) # print(ser2) # print(ser3) # print('-------------') # # print(pd.concat([ser1,ser2,ser3]))#多個Serise 物件需要用【】包起來,預設是列合併 # print(pd.concat([ser1,ser3],axis=1))# axis=1 行合併,不夠的部分用NAN填充 # print(pd.concat([ser1,axis=1,join='outer'))# 預設是outer 並集 df1 = pd.DataFrame( {'key1':list('abcdefgh'),8)} ) df2 = pd.DataFrame( {'key2':list('abcde'),5)} ) print(pd.concat((df1,df2)))# 預設按照列合併 print(pd.concat((df1,df2),axis=1))# 按照行合併 print(pd.concat((df1,join='inner'))# 交集合並
分組
import pandas as pd import numpy as np df1 = pd.DataFrame( {'key1':list('abcdefgh'),8),'key2':list('11223344'),8)} ) print(df1) df2 = pd.DataFrame( {'key2':list('abcde'),5)} ) print('----------------') # todo 分組 groupby() group_obj = df1.groupby(by='key2')#通過key1進行分組,返回一個分組物件,分組之後可以用函式進行下一步處理,計算過程中,非數字的資料不參與計算 # print(group_obj) # print('--------rrrr-------') # print(group_obj.sum()) # 分組求和 # print(group_obj.mean()) # 分組求均值 # print(group_obj.size()) # 每個分組的元素個數 # print(group_obj.count()) # 每個分組之後,列名裡面的個數 # # # todo 迭代分組物件 注意點:1.每一個元素形式(分組名,屬於分組的資料)2.屬於該分組的資料,也是dataframe物件 # for i in group_obj: # print(i) # print('----------') # # todo 迭代分組物件的拆分 # for name,data in group_obj: # print('---') # print(name) # print(data) # # # todo 分組物件轉列表 # print(list(group_obj)) # # todo 分組物件轉字典 # print(dict(list(group_obj))) # # # # # # todo 聚合(陣列產生標量的過程,常常用於分組之後的資料運算) # # todo 內建的聚合函式 # # todo sum() 求和 # # todo mean()平均值 # # todo size() # # todo max() # # todo min() # # todo count # # print(group_obj.describe()) #檢視具體的聚合資料 # todo 使用單個內建函式 # print(group_obj.agg('max'))#agg裡面可以填寫內建函式,如果需要使用內建的函式,要用字串的形式填寫 # print(group_obj.agg('min')) # # todo 使用多個內建函式 # print(group_obj.agg(['max','min','mean']))#需要用列表的形式 # # todo 使用內建的函式取中文別名 # print(group_obj.agg([('最大值','max'),('最小值','min'),('均值','mean')]))# 第一個引數是別名 # todo 自定義函式 def print1(x): # print(x) ret = x.max()-x.min() return ret print(group_obj.agg([('差值',print1)])) # todo 匿名函式 print(lambda x:x.max()-x.min()) # todo data1求最大值,data2 求最小值 不同的列用不同的函式 print(group_obj.agg( { 'data1':['max'],'data2':[('最小值','min')] }))
資料分組之後再合併
import pandas as pd import numpy as np # todo 分組聚合之後資料的處理 dict_new = { 'data1':np.random.randint(5,15,'data2':np.random.randint(5,'data3':4,'key1':list('aabbccdd'),'key2':['one','two','three','one','two'] } df1 = pd.DataFrame(dict_new,index=list('ADCBFEGH')) print(df1) # # todo 按照key1進行分組,# groupy_obj = df1.groupby(by='key1') # print(groupy_obj) # for name,data in groupy_obj: # print(name) # print(data) # # todo 分組之後進行求和操作 # sum_data_group = groupy_obj.sum() # print(sum_data_group) # # todo 分組之後增加字首 # sum_data_group = sum_data_group.add_prefix('group_key1') # print(sum_data_group) # # todo 先用merge進行關聯 # merge_df = pd.merge(df1,sum_data_group,right_index=True)#左表的列名,右表的行索引名 # print(merge_df) # todo 取資料的兩列分組 groupby_obj = df1.loc[:,['data1','data2']].groupby(df1['key1'])#選區資料其中的資料,按照資料中的列進行分組 # todo 求和 data = groupby_obj.sum() data1 = groupby_obj.transform('sum').add_prefix('trans_group')#transform 來計算會維持原來的資料結構 # todo 按行合併 print(pd.concat([df1,data1],axis=1))
關於Python相關內容感興趣的讀者可檢視本站專題:《Python函式使用技巧總結》、《Python面向物件程式設計入門與進階教程》、《Python資料結構與演算法教程》、《Python字串操作技巧彙總》、《Python編碼操作技巧總結》及《Python入門與進階經典教程》
希望本文所述對大家Python程式設計有所幫助。