【專案實戰】:Python :視訊網站資料清洗整理和結論研究
阿新 • • 發佈:2018-12-14
視訊網站資料清洗整理和結論研究
要求: 1、資料清洗 - 去除空值
- 要求:建立函式
- 提示:fillna方法填充缺失資料,注意inplace引數
2、資料清洗 - 時間標籤轉化
- 要求: ① 將時間欄位改為時間標籤 ② 建立函式
- 提示: 需要將中文日期轉化為非中文日期,例如 2016年5月24日 → 2016.5.24
3、問題1 分析出不同導演電影的好評率,並篩選出TOP20
- 要求: ① 計算統計出不同導演的好評率,不要求建立函式 ② 通過多系列柱狀圖,做圖表視覺化
- 提示: ① 好評率 = 好評數 / 評分人數 ② 可自己設定圖表風格
4、問題2 統計分析2001-2016年每年評影人數總量
- 要求: ① 計算統計出2001-2016年每年評影人數總量,不要求建立函式 ② 通過面積圖,做圖表視覺化,分析每年人數總量變化規律 ③ 驗證是否有異常值(極度異常) ④ 建立函式分析出資料外限最大最小值) ⑤ 篩選檢視異常值 → 是否異常值就是每年的熱門電影?
- 提示: ① 通過箱型圖驗證異常值情況 ② 通過quantile(q=0.5)方法,得到四分位數 ③ IQR=Q3-Q1 ④ 外限:最大值區間Q3+3IQR,最小值區間Q1-3IQR (IQR=Q3-Q1) ⑤ 可自己設定圖表風格
一 匯入python包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
% matplotlib inline
二 資料讀取
data = pd.read_csv('C:/Users/Hjx/Desktop/愛奇藝視訊資料.csv', engine = 'python') print(data.head())
三 資料清洗
1 去除空值
文字型欄位空值改為“缺失資料”,數字型欄位空值改為 0
- 要求:建立函式
- 提示:fillna方法填充缺失資料,注意inplace引數
def data_cleaning(df): cols = df.columns for col in cols: if df[col].dtype == 'object': df[col].fillna('缺失資料', inplace = True) else: df[col].fillna(0, inplace = True) return(df)
- 該函式可以將任意資料內空值替換
data_c1 = data_cleaning(data)
print(data_c1.head(10))
2 時間標籤轉化
將時間欄位改為時間標籤
- 要求:建立函式
- 提示:需要將中文日期轉化為非中文日期,例如 2016年5月24日 → 2016.5.24
def data_time(df,*cols):
for col in cols:
df[col] = df[col].str.replace('年','.')
df[col] = df[col].str.replace('月','.')
df[col] = df[col].str.replace('日','')
df[col] = pd.to_datetime(df[col])
return(df)
- 該函式將輸入列名的列,改為DatetimeIndex格式
data_c2 = data_time(data_c1,'資料獲取日期')
print(data_c2.head(10))
四 統計分析
- 問題1 分析出不同導演電影的好評率,並篩選出TOP20
- 要求: ① 計算統計出不同導演的好評率,不要求建立函式 ② 通過多系列柱狀圖,做圖表視覺化
- 提示: ① 好評率 = 好評數 / 評分人數
df_q1 = data_c2.groupby('導演')[['好評數','評分人數']].sum()
df_q1['好評率'] = df_q1['好評數'] / df_q1['評分人數']
result_q1 = df_q1.sort_values(['好評率'], ascending=False)[:20]
- 計算統計不同導演的好評率
result_q1['好評率'].plot(kind='bar',
color = 'k',
width = 0.8,
alpha = 0.4,
rot = 45,
grid = True,
ylim = [0.98,1],
figsize = (12,4),
title = '不同導演電影的好評率')
- 問題2 統計分析2001-2016年每年評影人數總量
- 要求: ① 計算統計出2001-2016年每年評影人數總量,不要求建立函式 ② 通過面積圖,做圖表視覺化,分析每年人數總量變化規律 ③ 驗證是否有異常值(極度異常) ④ 建立函式分析出資料外限最大最小值) ⑤ 篩選檢視異常值 → 是否異常值就是每年的熱門電影?
- 提示: ① 通過箱型圖驗證異常值情況 ② 通過quantile(q=0.5)方法,得到四分位數 ③ IQR=Q3-Q1 ④ 外限:最大值區間Q3+3IQR,最小值區間Q1-3IQR (IQR=Q3-Q1)
q2data1 = data_c2[['導演','上映年份','整理後劇名']].drop_duplicates()
q2data1 = q2data1[q2data1['上映年份'] != 0]
- 篩選出不同年份的資料,去除‘上映年份’欄位缺失資料
q2data2 = data_c2.groupby('整理後劇名').sum()[['評分人數','好評數']]
#print(q2data2)
- 求出不同劇的評分人數、好評數總和
q2data3 = pd.merge(q2data1,q2data2,left_on='整理後劇名',right_index=True)
#print(q2data3)
- 合併資料,得到不同年份,不同劇的評分人數、好評數總和
q2data4 = q2data3.groupby('上映年份').sum()[['評分人數','好評數']]
print(q2data4.head())
- 按照電影上映年份統計,評分人數量
fig1 = plt.figure(num=1,figsize=(12,4))
q2data4['評分人數'].loc[2000:].plot.area(figsize = (10,4),
grid = True,
color = 'g',
alpha = 0.8)
plt.xticks(range(2001,2016))
plt.title('2001-2016年每年評影人數總量統計')
- 建立面積圖
- 每年影評人數通過每個電影來判斷是否合理?
- 存在異常值,哪些是異常值?
fig,axes = plt.subplots(4,4,figsize=(10,16))
start = 2001
for i in range(4):
for j in range(4):
data = q2data3[q2data3['上映年份'] == start]
data[['評分人數','好評數']].boxplot(whis = 3, # IQR為3
return_type='dict',ax = axes[i,j]) # 建立矩陣箱型圖
start += 1
- 發現基本每年的資料中都有異常值,且為極度異常
- 建立函式得到外限最大最小值
- 檢視異常值
a = q2data3[q2data3['上映年份'] == 2001]
def data_error(df,col):
q1 = df[col].quantile(q=0.25) # 上四分位數
q3 = df[col].quantile(q=0.75) # 下四分位數
iqr = q3 - q1 # IQR
tmax = q3 + 3 * iqr # 外限最大值
tmin = q3 - 3 * iqr # 外限最小值
return(tmax,tmin)
- 建立函式,得到外限最大最小值
for i in range(2000,2016):
datayear = q2data3[q2data3['上映年份'] == i] # 篩選該年度的資料
print('%i年有%i條資料' % (i,len(datayear))) # 檢視每年的資料量
t = data_error(datayear,'評分人數') # 得到外限最大最小值
#print(t)
print(datayear[datayear['評分人數'] > t[0]]) # 檢視評分人數大於外限最大值的異常值
print('-------\n')
- 檢視異常值資訊