Python Pandas學習
阿新 • • 發佈：2020-07-22
1、介紹
Pandas是基於Numpy的專業資料分析工具，可以靈活高效的處理各種資料集，也是我們後期分析案例的神器。它提供了兩種型別的資料結構，分別是DataFrame和Series，我們可以簡單粗暴的把DataFrame理解為Excel裡面的一張表，而Series就是表中的某一列
2、建立DataFrame
# -*- encoding=utf-8 -*- import pandas if __name__ == '__main__': pass test_stu = pandas.DataFrame( {'高數': [66, 77, 88, 99, 85],'大物': [88, 77, 85, 78, 65], '英語': [99, 84, 87, 56, 75]}, ) print(test_stu) stu = pandas.DataFrame( {'高數': [66, 77, 88, 99, 85], '大物': [88, 77, 85, 78, 65], '英語': [99, 84, 87, 56, 75]}, index=['小紅', '小李', '小白', '小黑', '小青'] # 指定index索引 )print(stu)
執行
高數 大物 英語 0 66 88 99 1 77 77 84 2 88 85 87 3 99 78 56 4 85 65 75 高數 大物 英語 小紅 66 88 99 小李 77 77 84 小白 88 85 87 小黑 99 78 56 小青 85 65 75
3、讀取CSV或Excel(.xlsx)進行簡單操作（增刪改查）
data.csv
# -*- encoding=utf-8 -*- import pandas if __name__ == '__main__': pass data = pandas.read_csv('data.csv', engine='python') # 使用python分析引擎讀取csv檔案 print(data.head(5)) # 顯示前5行， print(data.tail(5)) # 顯示後5行 print(data) # 顯示所有資料 print(data['height']) # 顯示height列 print(data[['height', 'weight']]) # 顯示height和weight列 data.to_csv('write.csv') # 儲存到csv檔案 data.to_excel('write.xlsx') # 儲存到xlsx檔案 data.info() # 檢視資料資訊(總行數，有無空缺資料，型別) print(data.describe()) # (count非空值，mean均值、std標準差、min最小值、max最大值25%50%75%分位數。) data['新增列'] = range(0, len(data)) # 類似字典直接新增即可 print(data) new_data = data.drop('新增列', axis=1, inplace=False) # 刪除列,如果inplace為True則在源資料刪除，返回None，否則返回新資料，不改動源資料 print(new_data) data['體重+身高'] = data['height'] + data['weight'] print(data) data['remark'] = data['remark'].str.replace('to', '') # 操作字串 print(data['remark']) data['birth'] = pandas.to_datetime(data['birth']) # 轉為日期型別 print(data['birth'])
4、根據條件進行篩選，擷取
# -*- encoding=utf-8 -*- import pandas if __name__ == '__main__': pass data = pandas.read_csv('data.csv', engine='python') # 使用python分析引擎讀取csv檔案 a = data.iloc[:12, ] # 擷取0-12行，列全截 # print(a) b = data.iloc[:, [1, 3]] # 行全截,列1,3 # print(b) c = data.iloc[0:12, 0:4] # 擷取行0-12，列0-4 # print(c) d = data['sex'] == 1 # 檢視性別為1(男)的 # print(d) f = data.loc[data['sex'] == 1, :] # 檢視性別為1(男)的 # print(f) g = data.loc[:, ['weight', 'height']] # 選取身高體重 # print(g) h = data.loc[data['height'].isin([166, 175]), :] # 選取身高166,175的資料 # print(h) h1 = data.loc[data['height'].isin([166, 175]), ['weight', 'height']] # 選取身高166,175的資料 # print(h1) i = data['height'].mean() # 均值 j = data['height'].std() # 方差 k = data['height'].median() # 中位數 l = data['height'].min() # 最小值 m = data['height'].max() # 最大值 # print(i) # print(j) # print(k) # print(l) # print(m) n = data.loc[ (data['height'] > data['height'].mean()) & (data['weight'] > data['weight'].mean()), :] # 身高大於身高均值，且體重大於體重均值，不能用and要用&如果是或用| print(n)
5、清Nan資料，去重，分組，合併
# -*- encoding=utf-8 -*- import pandas if __name__ == '__main__': pass sheet1 = pandas.read_excel('data.xlsx', sheet_name='Sheet1') # 讀取sheet1 # print(sheet1) # print('-------------------------') sheet2 = pandas.read_excel('data.xlsx', sheet_name='Sheet2') # 讀取sheet2 # print(sheet2) # print('-------------------------') a = pandas.concat([sheet1, sheet2]) # 合併 # print(a) # print('-------------------------') b = a.dropna() # 刪除空資料nan，有nan的就刪除 # print(b) # print('-------------------------') b1 = a.dropna(subset=['weight']) # 刪除指定列的空資料nan # print(b1) # print('-------------------------') c = b.drop_duplicates() # 刪除重複資料 # print(c) # print('-------------------------') d = b.drop_duplicates(subset=['weight']) # 刪除指定列的重複資料 # print(d) # print('-------------------------') e = b.drop_duplicates(subset=['weight'], keep='last') # 刪除指定列的重複資料,儲存最後一個相同資料 # print(e) # print('-------------------------') f = a.sort_values(['weight'], ascending=False) # 從大到小排序weight # print(f) g = c.groupby(['sex']).sum() # 根據sex分組，再求和 # print(g) g1 = c.groupby(['sex'], as_index=False).sum() # 根據sex分組，再求和，但sex不作為索引 # print(g1) g2 = c.groupby(['sex', 'weight']).sum() # 根據sex分組後再根據weight分組，再求和 # print(g2) h = pandas.cut(c['weight'], bins=[80, 90, 100, 150, 200], ) # 根據區間分割體重 print(h) # print('-------------------------') c['根據體重分割'] = h # 會有警告，未解決，但不影響結果 print(c)
學習連結：
初識pandas
靈活的pandas索引
清洗常用4板斧
優雅的apply
https://mp.weixin.qq.com/s?__biz=MzU5Mjg2OTQ1MA==&mid=2247484179&idx=1&sn=e84c5fead658438b7dde1d6e056db084&chksm=fe186236c96feb20c892d5b00c7b54333f098f62485b577c510033aab20009560ca073abdf39&scene=21#wechat_redirect