13個Pandas實用技巧,助你提高開發效率
阿新 • • 發佈:2020-08-21
原作:風控獵人
整理:資料管道
歸納整理了一些工作中常用到的pandas使用技巧,方便更高效地實現資料分析。
1.計算變數缺失率
df=pd.read_csv('titanic_train.csv') def missing_cal(df): """ df :資料集 return:每個變數的缺失率 """ missing_series = df.isnull().sum()/df.shape[0] missing_df = pd.DataFrame(missing_series).reset_index() missing_df = missing_df.rename(columns={'index':'col',0:'missing_pct'}) missing_df = missing_df.sort_values('missing_pct',ascending=False).reset_index(drop=True) return missing_df missing_cal(df)
如果需要計算樣本的缺失率分佈,只要加上引數axis=1.
2.獲取分組裡最大值所在的行方法
分為分組中有重複值和無重複值兩種。無重複值的情況。
df = pd.DataFrame({'Sp':['a','b','c','d','e','f'],'Mt':['s1','s1','s2','s3'],'Value':[1,2,3,4,5,6],'Count':[3,10,6]}) df df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]
先按Mt列進行分組,然後對分組之後的資料框使用idxmax函式取出Count最大值所在的列,再用iloc位置索引將行取出。有重複值的情況
df["rank"] = df.groupby("ID")["score"].rank(method="min",ascending=False).astype(np.int64) df[df["rank"] == 1][["ID","class"]]
對ID進行分組之後再對分數應用rank函式,分數相同的情況會賦予相同的排名,然後取出排名為1的資料。
3.多列合併為一行
df = pd.DataFrame({'id_part':['a','d'],'pred':[0.1,0.2,0.3,0.4],'pred_class':['women','man','cat','dog'],'v_id':['d1','d2','d3','d1']}) df.groupby(['v_id']).agg({'pred_class': [','.join],'pred': lambda x: list(x),'id_part': 'first'}).reset_index()
4.刪除包含特定字串所在的行
df = pd.DataFrame({'a':[1,4],'b':['s1','exp_s2','s3','exps4'],'c':[5,6,7,8],'d':[3,10]}) df[df['b'].str.contains('exp')]
5.組內排序
df = pd.DataFrame([['A',1],['A',3],2],['B',5],9]],columns = ['name','score'])
介紹兩種高效地組內排序的方法。
df.sort_values(['name','score'],ascending = [True,False]) df.groupby('name').apply(lambda x: x.sort_values('score',ascending=False)).reset_index(drop=True)
6.選擇特定型別的列
drinks = pd.read_csv('data/drinks.csv') # 選擇所有數值型的列 drinks.select_dtypes(include=['number']).head() # 選擇所有字元型的列 drinks.select_dtypes(include=['object']).head() drinks.select_dtypes(include=['number','object','category','datetime']).head() # 用 exclude 關鍵字排除指定的資料型別 drinks.select_dtypes(exclude=['number']).head()
7.字串轉換為數值
df = pd.DataFrame({'列1':['1.1','2.2','3.3'],'列2':['4.4','5.5','6.6'],'列3':['7.7','8.8','-']}) df df.astype({'列1':'float','列2':'float'}).dtypes
用這種方式轉換第三列會出錯,因為這列裡包含一個代表 0 的下劃線,pandas 無法自動判斷這個下劃線。為了解決這個問題,可以使用 to_numeric() 函式來處理第三列,讓 pandas 把任意無效輸入轉為 NaN。
df = df.apply(pd.to_numeric,errors='coerce').fillna(0)
8.優化 DataFrame 對記憶體的佔用
方法一:只讀取切實所需的列,使用usecols引數
cols = ['beer_servings','continent'] small_drinks = pd.read_csv('data/drinks.csv',usecols=cols)
方法二:把包含類別型資料的 object 列轉換為 Category 資料型別,通過指定 dtype 引數實現。
dtypes ={'continent':'category'} smaller_drinks = pd.read_csv('data/drinks.csv',usecols=cols,dtype=dtypes)
9.根據最大的類別篩選 DataFrame
movies = pd.read_csv('data/imdb_1000.csv') counts = movies.genre.value_counts() movies[movies.genre.isin(counts.nlargest(3).index)].head()
10.把字串分割為多列
df = pd.DataFrame({'姓名':['張 三','李 四','王 五'],'所在地':['北京-東城區','上海-黃浦區','廣州-白雲區']}) df df.姓名.str.split(' ',expand=True)
11.把 Series 裡的列表轉換為 DataFrame
df = pd.DataFrame({'列1':['a','c'],'列2':[[10,20],[20,30],[30,40]]}) df df_new = df.列2.apply(pd.Series) pd.concat([df,df_new],axis='columns')
12.用多個函式聚合
orders = pd.read_csv('data/chipotle.tsv',sep='\t') orders.groupby('order_id').item_price.agg(['sum','count']).head()
13.分組聚合
import pandas as pd df = pd.DataFrame({'key1':['a','a','a'],'key2':['one','two','one','one'],'data1':np.random.randn(5),'data2':np.random.randn(5)}) df for name,group in df.groupby('key1'): print(name) print(group) dict(list(df.groupby('key1')))
通過字典或Series進行分組
people = pd.DataFrame(np.random.randn(5,5),columns=['a','e'],index=['Joe','Steve','Wes','Jim','Travis']) mapping = {'a':'red','b':'red','c':'blue','d':'blue','e':'red','f':'orange'} by_column = people.groupby(mapping,axis=1) by_column.sum()
以上就是13個Pandas實用技巧,助你提高開發效率的詳細內容,更多關於Pandas實用技巧的資料請關注我們其它相關文章!