1. 程式人生 > 程式設計 >Python pandas自定義函式的使用方法示例

Python pandas自定義函式的使用方法示例

本文例項講述了Python pandas自定義函式的使用方法。分享給大家供大家參考,具體如下:

自定義函式的使用

import numpy as np
import pandas as pd
# todo 將自定義的函式作用到dataframe的行和列 或者Serise的行上
ser1 = pd.Series(np.random.randint(-10,10,5),index=list('abcde'))
df1 = pd.DataFrame(np.random.randint(-10,(4,5)),index=list('ACBD'),columns=list('abcde'))
# todo 定義一個函式,求其和,絕對值,最大值減最小值的差值,平方
def func(x):
 # print(x)
 print('--------------')
 num= np.max(x)-np.min(x)
 a = abs(x)
 b= x**2
 # return num
 # return a
 return b
print(ser1.apply(func))
def func1(x):
 # print(x)
 print('--------------')
 # num= np.max(x)-np.min(x)
 a = abs(x)
 b= x**2
 # return num
 # return a
 return b
print(df1.apply(func1,axis = 1))
# todo 使用匿名函式實現----求其和,絕對值,最大值減最小值的差值,
print(df1.apply(lambda x:x**2,axis=1))
print('------')
print(df1.apply(lambda x:np.max(x)-np.min(x),axis=1))
print('---------')
print(df1.apply(lambda x:abs(x),axis=1))
# applymap的使用
# todo 使用applymap 因為applymap作用在每個元素上,所以不需要指定axis
print(df1.applymap(lambda x:x**2))
print('---------')
print(df1.applymap(lambda x:abs(x)))

排序

import numpy as np
import pandas as pd
ser1 = pd.Series(np.random.randint(-10,10),index=list('acbdfeghji'))
df1 = pd.DataFrame(np.random.randint(-10,index=list('ADBC'),columns=list('abcde'))
print(ser1)
print(df1)
print('------------------')
# todo 按照索引排序 sort_index()
# print(ser1.sort_index())#預設升序
# print(ser1.sort_index(ascending=False))#指定ascending為降序
# print(df1.sort_index())#預設行升序
# print(df1.sort_index(ascending=False))#行降序
# print(df1.sort_index(axis=1))#列升序
# print(df1.sort_index(ascending=False,axis=1))#列降序
# todo 按照值排序
print(ser1.sort_values())#預設升序
print(ser1.sort_values(ascending=False))#指定ascending為降序
# dataframe 物件比較複雜,需要按照哪一列來進行排序
print(df1.sort_values(by='a'))#預設列升序
print(df1.sort_values(by='a',ascending=False))#列降序
print(df1.sort_values(by='A',axis=1))#行升序
print(df1.sort_values(by='A',ascending=False,axis=1))#行降序

資料重構

import numpy as np
import pandas as pd
ser1 = pd.Series(np.random.randint(-10,index=[list('aabbccddee'),[1,2,1,2]])
df1 = pd.DataFrame(np.random.randint(-10,index=list('aabb'),columns=list('abcde'))
print(ser1)
print(df1)
print('-----------------------')
# todo 外層索引取值
print(ser1['a'])#獲取單個外層索引
print(ser1['a':'e'])#獲取多個外層
# todo 內層索引取值
print(ser1[:,1])
# todo 指定外層,內層索引取值
print(ser1['a',1])
# todo 交換分層-----swaplevel()
print(ser1.swaplevel())
# todo 將Sterise轉為dataframe物件外層索引作為行索引,內層索引作為列索引
print(ser1.unstack())
# todo 將dataframe轉為Sterise物件行索引作為外層索引行索引,列索引作為內層索引列
print(df1.stack())
# todo dataframe 轉字典
print(df1.to_dict())
# todo dataframe 轉csv檔案
print(df1.to_csv())

資料連線操作

import numpy as np
import pandas as pd
df1 = pd.DataFrame(
 {'key1':list('abcdefgh'),'data1':np.random.randint(-5,8)}
)
df2 = pd.DataFrame(
 {'key2':list('defgh'),'data2':np.random.randint(-5,5)}
)
print(df1)
print(df2)
print('--------------------------')
# todo 連結
# print(pd.merge(df1,df2,on='key'))# key相同時 通過key連線df1,df2
# print(pd.merge(df1,df2))#不指定,連線df1,df2預設通過相同的列來連線
# print(pd.merge(df1,on=data1))#data1相同時 通過data1連線df1,df2
#todo 交集
print(pd.merge(df1,left_on='key1',right_on='key2'))
#todo 並集
print(pd.merge(df1,how='outer',right_on='key2'))
#todo 左連線
print(pd.merge(df1,how='left',right_on='key2'))
#todo 右連線
print(pd.merge(df1,how='right',right_on='key2'))
# todo 通過行索引來指定
print(pd.merge(df1,left_on='data1',right_index=True))#left_on指定左表的列索引為外健,right_index作業為右表的行索引作為外檢
print(pd.merge(df1,left_index=True,right_index=True))#left_index,right_index,預設的情況下,將兩張表按照航索引的相同情況,合成一條資料
print(pd.merge(df1,right_index=True))# 按照行進行連線,也能指定連結方式

注意點:

1.how = inner,預設的,內連線,多表的交集
2.how = outer,外連線,多表的並集
3.how = left,指定為左連線,展示左表的完整資料,不管右表有沒有匹配
4.how = right,指定為右連線,展示右表的完整資料,不管左表有沒有匹配

資料的合併

import numpy as np
import pandas as pd
# todo np陣列的合併 np.concatenate(),參與合併的陣列,緯度大小是一致的,axis=1 為行排序
# arr1 = np.random.randint(10,20,(3,4))
# arr2 = np.random.randint(10,4))
# print(arr1)
# print(arr2)
# print('-------------')
# print(np.concatenate((arr1,arr2),axis=0)) #列合併
# print('----------')
# print(np.concatenate((arr1,axis=1)) # 行合併
# todo pd的合併 pd.concat()
# ser1 = pd.Series(np.random.randint(10,3))
# ser2 = pd.Series(np.random.randint(10,5))
# ser3 = pd.Series(np.random.randint(10,7))
# print(ser1)
# print(ser2)
# print(ser3)
# print('-------------')
#
# print(pd.concat([ser1,ser2,ser3]))#多個Serise 物件需要用【】包起來,預設是列合併
# print(pd.concat([ser1,ser3],axis=1))# axis=1 行合併,不夠的部分用NAN填充
# print(pd.concat([ser1,axis=1,join='outer'))# 預設是outer 並集
df1 = pd.DataFrame(
 {'key1':list('abcdefgh'),8)}
)
df2 = pd.DataFrame(
 {'key2':list('abcde'),5)}
)
print(pd.concat((df1,df2)))# 預設按照列合併
print(pd.concat((df1,df2),axis=1))# 按照行合併
print(pd.concat((df1,join='inner'))# 交集合並

分組

import pandas as pd
import numpy as np
df1 = pd.DataFrame(
 {'key1':list('abcdefgh'),8),'key2':list('11223344'),8)}
)
print(df1)
df2 = pd.DataFrame(
 {'key2':list('abcde'),5)}
)
print('----------------')
# todo 分組 groupby()
group_obj = df1.groupby(by='key2')#通過key1進行分組,返回一個分組物件,分組之後可以用函式進行下一步處理,計算過程中,非數字的資料不參與計算
# print(group_obj)
# print('--------rrrr-------')
# print(group_obj.sum()) # 分組求和
# print(group_obj.mean()) # 分組求均值
# print(group_obj.size()) # 每個分組的元素個數
# print(group_obj.count()) # 每個分組之後,列名裡面的個數
#
# # todo 迭代分組物件 注意點:1.每一個元素形式(分組名,屬於分組的資料)2.屬於該分組的資料,也是dataframe物件
# for i in group_obj:
#  print(i)
# print('----------')
# # todo 迭代分組物件的拆分
# for name,data in group_obj:
#  print('---')
#  print(name)
#  print(data)
#
# # todo 分組物件轉列表
# print(list(group_obj))
# # todo 分組物件轉字典
# print(dict(list(group_obj)))
#
#
#
#
# # todo 聚合(陣列產生標量的過程,常常用於分組之後的資料運算)
# # todo 內建的聚合函式
# # todo sum() 求和
# # todo mean()平均值
# # todo size()
# # todo max()
# # todo min()
# # todo count
#
# print(group_obj.describe()) #檢視具體的聚合資料
# todo 使用單個內建函式
# print(group_obj.agg('max'))#agg裡面可以填寫內建函式,如果需要使用內建的函式,要用字串的形式填寫
# print(group_obj.agg('min'))
# # todo 使用多個內建函式
# print(group_obj.agg(['max','min','mean']))#需要用列表的形式
# # todo 使用內建的函式取中文別名
# print(group_obj.agg([('最大值','max'),('最小值','min'),('均值','mean')]))# 第一個引數是別名
# todo 自定義函式
def print1(x):
 # print(x)
 ret = x.max()-x.min()
 return ret
print(group_obj.agg([('差值',print1)]))
# todo 匿名函式
print(lambda x:x.max()-x.min())
# todo data1求最大值,data2 求最小值 不同的列用不同的函式
print(group_obj.agg(
 {
  'data1':['max'],'data2':[('最小值','min')]
 }))

資料分組之後再合併

import pandas as pd
import numpy as np
# todo 分組聚合之後資料的處理
dict_new = {
 'data1':np.random.randint(5,15,'data2':np.random.randint(5,'data3':4,'key1':list('aabbccdd'),'key2':['one','two','three','one','two']
}
df1 = pd.DataFrame(dict_new,index=list('ADCBFEGH'))
print(df1)
# # todo 按照key1進行分組,# groupy_obj = df1.groupby(by='key1')
# print(groupy_obj)
# for name,data in groupy_obj:
#  print(name)
#  print(data)
# # todo 分組之後進行求和操作
# sum_data_group = groupy_obj.sum()
# print(sum_data_group)
# # todo 分組之後增加字首
# sum_data_group = sum_data_group.add_prefix('group_key1')
# print(sum_data_group)
# # todo 先用merge進行關聯
# merge_df = pd.merge(df1,sum_data_group,right_index=True)#左表的列名,右表的行索引名
# print(merge_df)
# todo 取資料的兩列分組
groupby_obj = df1.loc[:,['data1','data2']].groupby(df1['key1'])#選區資料其中的資料,按照資料中的列進行分組
# todo 求和
data = groupby_obj.sum()
data1 = groupby_obj.transform('sum').add_prefix('trans_group')#transform 來計算會維持原來的資料結構
# todo 按行合併
print(pd.concat([df1,data1],axis=1))

關於Python相關內容感興趣的讀者可檢視本站專題:《Python函式使用技巧總結》、《Python面向物件程式設計入門與進階教程》、《Python資料結構與演算法教程》、《Python字串操作技巧彙總》、《Python編碼操作技巧總結》及《Python入門與進階經典教程》

希望本文所述對大家Python程式設計有所幫助。