Python實現的北京積分落戶資料分析示例
阿新 • • 發佈:2020-03-30
本文例項講述了Python實現的北京積分落戶資料分析。分享給大家供大家參考,具體如下:
北京積分落戶狀況 獲取資料(爬蟲/檔案下載)—> 分析 (維度—指標)
- 從公司維度分析不同公司對落戶人數指標的影響,即什麼公司落戶人數最多也更容易落戶
- 從年齡維度分析不同年齡段對落戶人數指標影響,即什麼年齡段落戶人數最多也更容易落戶
- 從百家姓維度分析不同姓對落戶人數的指標影響,即什麼姓的落戶人數最多即也更容易落戶
- 不同分數段的佔比情況
# 匯入庫 import numpy as np import pandas as pd import matplotlib.pyplot as plt from matplotlib import font_manager
#讀取資料(檔案),並檢視資料相應結構和格式 lh_data = pd.read_csv('./bj_luohu.csv',index_col='id',usecols=(0,1,2,3,4)) lh_data.describe()
# 1. 公司維度---人數指標 # 對公司進行分組聚合,並檢視分數的相關資料 (個數,總分數,平均分,人數佔比) group_company = lh_data.groupby('company',as_index=False)['score'].agg(['count','sum','mean']).sort_values('count',ascending=False) #更改列名稱 group_company.rename(columns={'count':'people_num','sum':'score_sum','mean':'score_mean'},inplace=True) #定一個函式,得到佔比 def num_percent(people_num=1,people_sum=1): return str('%.2f'%(people_num / people_sum * 100))+'%' #增加一個佔比列 group_company['people_percent'] = group_company['people_num'].apply(num_percent,people_sum=lh_data['name'].count()) #檢視只有一個人落戶的公司 布林索引 group_company[group_company['people_num'] == 1] group_company.head(10)
# 2.年齡維度----人數指標 #將出生年月轉為年齡 lh_data['age'] = (pd.to_datetime('2019-09') - pd.to_datetime(lh_data['birthday'])) / pd.Timedelta('365 days') # 分桶 lh_data.describe() bins_age = pd.cut(lh_data['age'],bins=np.arange(30,70,5)) bins_age_group = lh_data['age'].groupby(bins_age).count() bins_age_group.index = [str(i.left) + '~' + str(i.right) for i in bins_age_group.index] bins_age_group.plot(kind='bar',alpha=1,rot=60,grid=0.2)
# 3. 姓維度----人數指標 # 增加姓列 #定義一個函式 得到姓名的姓 def get_fname(name): if len(str(name)) <= 3: return str(name[0]) else: return str(name[0:2]) lh_data['fname'] = lh_data['name'].apply(get_fname) # 對姓進行分組 group_fname = lh_data.groupby('fname')['score'].agg(['count',ascending=False) # 更改列名稱 group_fname.rename(columns={'count':'people_num','sum':'people_sum',inplace=True) # 增加佔比列 group_fname['people_percent'] = group_fname['people_num'].apply(num_percent,people_sum=lh_data['name'].count()) group_fname.head(10)
# 4. 檢視分數段佔比 # 分桶 將分數劃分為一個個的區間 bins_score = pd.cut(lh_data['score'],np.arange(90,130,5)) # 將分數裝入對應的桶裡 bins_score_group = lh_data['score'].groupby(bins_score).count() # 更改索引顯示格式 bins_score_group.index = [str(i.left)+'~'+str(i.right) for i in bins_score_group.index] bins_score_group.plot(kind='bar',grid=0.2,title='score-people_num',colormap='RdBu_r')
總結
1.pandas的繪圖方法不夠靈活,功能也不夠強大,最好還是使用matplotlib繪圖
2.記住資料分析最重要的兩個方法 分組: groupby() 和 分桶:cut(),前者一般用於離散的資料(姓,公司),後者用於連續資料 (年齡段,分數段)
更多關於Python相關內容感興趣的讀者可檢視本站專題:《Python數學運算技巧總結》、《Python資料結構與演算法教程》、《Python函式使用技巧總結》、《Python字串操作技巧彙總》及《Python入門與進階經典教程》
希望本文所述對大家Python程式設計有所幫助。