電影資料處理及分析
阿新 • • 發佈：2018-12-03
對10萬條愛奇藝電影資料的處理分析，其中用到了Jupyter Notebook，Numpy，Pandas，Matplotlib
首先第一步是對資料進行預處理：
1、資料清洗 - 去除空值
如果是字串就改成缺失資料，數值的話就改成0
if df[col].dtype == 'object':
df[col].fillna('缺失資料', inplace = True)
else:
df[col].fillna(0, inplace = True)2、資料清洗 - 時間標籤轉化
把時間的年月日替換掉
df[col] = df[col].str.replace('年','.')
df[col] = df[col].str.replace('月','.')
df[col] = df[col].str.replace('日','')
第一個我們先來看一下，那個導演的好評率最高，我們把好評率前20的畫成一個直方圖
result_q1['好評率'].plot(kind='bar',
color = 'k',
width = 0.8,
alpha = 0.4,
rot = 45,
grid = True,
ylim = [0.98,1],
figsize = (12,4),
title = '不同導演電影的好評率')
我都懷疑我搞錯，沒有一個認識的
第二個我們接下來看一下，哪一部被評分最多的，哇竟然是回家的誘惑，，，，，，我也看了
每一年的影評人數變化，2011年是最多的，估計是手機開始熱門起來，大家都可以用手機觀看了，後面下降應該是各大視訊軟體如雨後春筍一般。
下面列出從2000-2015年的最熱門的影視劇：
2000年有40條資料 導演 上映年份 整理後劇名 評分人數 好評數 704 劉家成 2000.0 鐵齒銅牙紀曉嵐 12231677.0 10887118.0 713 張國立 2000.0 康熙微服私訪記3 2509980.0 2246035.0 979 夢繼 2000.0 都是天使惹的禍 2078751.0 1870221.0 997 徐慶東 2000.0 重案6組 5849945.0 5294455.0 1494 張子恩 2000.0 上錯花轎嫁對郎 11265400.0 10477592.0 1909 陳寶國 2000.0 請你原諒我 148345298.0 146438880.0 ------- 2001年有49條資料 導演 上映年份 整理後劇名 評分人數 好評數 1027 英達 2001.0 東北1家人 2674339.0 2550233.0 1338 王冀邢 2001.0 黑冰 1703364.0 1278592.0 1863 胡明凱 2001.0 少年包青天2 4809919.0 4335522.0 1972 陳家林、劉大印 2001.0 康熙王朝 4589462.0 3811875.0 ------- 2002年有76條資料 導演 上映年份 整理後劇名 評分人數 好評數 69 趙寶剛 2002.0 拿什麼拯救你我的愛人 2184294.0 1954774.0 670 樑德龍 2002.0 少年張3豐 48030057.0 42450999.0 179 王文傑 2002.0 大染坊 1213903.0 943441.0 542 高力強 2002.0 烏龍闖情關 17787335.0 16282770.0 560 胡雪楊 2002.0 白領公寓 1056247.0 1042170.0 705 劉家成 2002.0 鐵齒銅牙紀曉嵐2 4116280.0 3598471.0 711 張國立 2002.0 康熙微服私訪記4 2430093.0 2139569.0 978 歐凡 2002.0 我的淘氣天使 3100421.0 3088701.0 1026 英達 2002.0 東北1家人續集 832767.0 783944.0 1118 王重光 2002.0 半生緣 1788765.0 1593117.0 1267 馬驍/趙鐳 2002.0 乾隆王朝 1807823.0 1519044.0 1533 沈莊 2002.0 無敵縣令 16449254.0 15840532.0 1813 林龍 2002.0 少年黃飛鴻 4336169.0 3923933.0 26514 樑本熙 2002.0 大漢天子 2471649.0 2174612.0 ------- 2003年有102條資料 導演 上映年份 整理後劇名 評分人數 好評數 184 李濟昌 2003.0 18歲的天空 1315676.0 1158297.0 518 丁黑 2003.0 玉觀音 10799600.0 10111099.0 698 沈怡 2003.0 布衣天子 1434892.0 1313230.0 727 李翰韜/王炎冰 2003.0 火帥 1313022.0 1283602.0 939 黃力加/江洪 2003.0 神醫喜來樂 850050.0 681646.0 1393 徐慶東 2003.0 重案6組2 9219568.0 8549757.0 1537 賴成 2003.0 倚天屠龍記 137252859.0 130354883.0 1733 小多/澄豐 2003.0 少年康熙 1428427.0 1349838.0 1897 伍宗德 2003.0 雙響炮 1122473.0 1108071.0 2140 朱德承/餘明生/張耀星 2003.0 風流少年唐伯虎 13334067.0 11626244.0 2148 胡明凱 2003.0 隋唐英雄傳 7834399.0 6871162.0 2149 何群 2003.0 萍蹤俠影 1395491.0 1367926.0 ------- 2004年有112條資料 導演 上映年份 整理後劇名 評分人數 好評數 0 缺失資料 2004.0 鬥魚2 1488378.0 1398674.0 6 缺失資料 2004.0 鬥魚全集 5717163.0 5337043.0 317 滕文驥 2004.0 血色浪漫 10652993.0 9838765.0 353 張曉光 2004.0 1米陽光 1077617.0 1003363.0 536 郭靖宇 2004.0 我非英雄 1033558.0 870254.0 703 劉家成 2004.0 鐵齒銅牙紀曉嵐3 20693600.0 19826413.0 1150 錢雁秋 2004.0 神探狄仁傑 4543136.0 3988682.0 1202 丁黑 2004.0 平淡生活 1890641.0 1800771.0 1503 周曉文/鞠覺亮 2004.0 天龍8部 257017777.0 249324460.0 1636 徐耿 2004.0 小兵張嘎 3438397.0 2873167.0 2152 何培 2004.0 諜戰之特殊較量 2926284.0 2172274.0 26508 董力 2004.0 大漢天子2 1093481.0 961560.0 ------- 2005年有127條資料 導演 上映年份 整理後劇名 評分人數 好評數 126 闞衛平 2005.0 大宋提刑官 2089457.0 1808082.0 143 賴水清 2005.0 秦王李世民傳奇 3074575.0 2811473.0 429 英達 2005.0 地下交通站 10581120.0 9860511.0 534 郭靖宇 2005.0 刀鋒1937 8637909.0 7900251.0 671 王晶 2005.0 小魚兒與花無缺 1031509.0 953431.0 706 張國立 2005.0 少年嘉慶 1013432.0 933014.0 718 賴水清 2005.0 刁蠻公主 50604859.0 47325137.0 930 鄧衍成/樑欣全 2005.0 天下第1 3574686.0 3245269.0 1695 李惠民 2005.0 風雲2 6327340.0 5577826.0 1737 劉恆 2005.0 少年天子之順治王朝 2086341.0 1867984.0 1761 瞿友寧 2005.0 惡作劇之吻 8618136.0 7494951.0 1841 張曉光 2005.0 午夜陽光 1807467.0 1467337.0 1896 楊文軍 2005.0 我愛河東獅 2635663.0 2493475.0 1905 胡玫 2005.0 漢武大帝 1354595.0 1133144.0 25806 馮凱 2005.0 綠光森林 5896571.0 5576341.0 ------- 2006年有125條資料 導演 上映年份 整理後劇名 評分人數 好評數 16 林清芳/王明臺 2006.0 花樣少年少女 2009262.0 1767514.0 83 於榮光/黃文利 2006.0 狼毒花 2714823.0 2438527.0 188 丁仰國 2006.0 薛仁貴傳奇 4587460.0 4054318.0 198 葉鴻偉 2006.0 會有天使替我愛你 1576509.0 1283288.0 794 張國立 2006.0 濟公新傳 13553447.0 12964318.0 894 劉逢聲 2006.0 楚留香傳奇 4512446.0 4458799.0 986 張前/陳健 2006.0 亮劍 123629453.0 114330960.0 1120 陳家霖/張敏 2006.0 地下鐵 2618582.0 2352788.0 1149 錢雁秋 2006.0 神探狄仁傑2 7564279.0 6679585.0 1176 喬樑 2006.0 愛了散了 1590735.0 1355628.0 1319 康洪雷 2006.0 士兵突擊 3049742.0 2766981.0 1425 澄豐 2006.0 女人不哭 3653253.0 3181067.0 1521 侯繼元/任海滔 2006.0 風塵3俠之紅拂女 1277972.0 1139068.0 1523 樑國冠 2006.0 精衛填海 1782078.0 1594502.0 1738 胡明凱 2006.0 少年包青天3 5365684.0 5025006.0 2138 于敏/趙箭 2006.0 神鵰俠侶 89728495.0 78438716.0 23891 缺失資料 2006.0 夢比優斯奧特曼 1403654.0 1210569.0 ------- 2007年有112條資料 導演 上映年份 整理後劇名 評分人數 好評數 4 缺失資料 2007.0 18禁不禁全集 34402833.0 31482452.0 20 未知 2007.0 命定之愛國語 1585560.0 1349494.0 142 陳俊良 2007.0 梁山伯與祝英臺 1937107.0 1672513.0 318 張建棟 2007.0 我們生活的年代 2189955.0 2172411.0 1084 陳家林 2007.0 王昭君 1658803.0 1427373.0 1100 董志強 2007.0 媽媽再愛我1次 2703607.0 2338169.0 1203 胡坤 2007.0 愛是1顆幸福的子彈 1653974.0 1586200.0 1222 尚敬 2007.0 炊事班的故事3 5265527.0 4901011.0 1595 廖斐鴻 2007.0 終極1家 316121794.0 305682501.0 1958 趙寶剛 2007.0 梅豔芳菲 1711027.0 1618048.0 ------- 2008年有135條資料 導演 上映年份 整理後劇名 評分人數 好評數 433 于浩威 2008.0 劍諜 2510120.0 2403648.0 445 王曉明 2008.0 空巷子 1960966.0 1834299.0 726 劉心剛 2008.0 5星大飯店 6239373.0 6086452.0 905 吳錦源/陳國華 2008.0 1千滴眼淚 2485499.0 1814721.0 987 蘇舟 2008.0 紅日 2119555.0 2056284.0 991 張新建/孔笙 2008.0 闖關東 2828423.0 2437388.0 1024 餘明生 2008.0 魔幻手機 56579430.0 52814034.0 1065 劉逢聲/林峰 2008.0 敵營18年 3617351.0 3591638.0 1148 錢雁秋 2008.0 神探狄仁傑3 27291678.0 25205428.0 1224 李惠民 2008.0 少林僧兵 20303865.0 19902192.0 1422 烏蘭塔娜 2008.0 暖春 19200908.0 19165240.0 1832 劉立立 2008.0 新包青天 6579831.0 5679799.0 2082 何麗萍 2008.0 寧為女人 4140592.0 3387567.0 25001 王晶 2008.0 10大奇冤 3002099.0 2801151.0 ------- 2009年有85條資料 導演 上映年份 整理後劇名 評分人數 好評數 594 陳偉祥 2009.0 牌坊下的女人 8272572.0 6032685.0 699 張國立/羅長安 2009.0 鐵齒銅牙紀曉嵐4 8230880.0 8177111.0 1394 徐慶東 2009.0 重案6組3 19289721.0 17141887.0 1727 連奕名 2009.0 中天懸劍 7139122.0 6836408.0 1785 袁剛/成志超 2009.0 萬卷樓 12005965.0 11854390.0 1970 韋正 2009.0 愛情公寓那些事兒 8186550.0 7277273.0 2022 餘淳 2009.0 青春舞臺 6787007.0 6776805.0 2139 楊文軍 2009.0 暗香 41153667.0 36843941.0 ------- 2010年有81條資料 導演 上映年份 整理後劇名 評分人數 好評數 514 韋正 2010.0 愛情公寓2 577167954.0 542195824.0 613 谷錦雲 2010.0 尖刀 19374945.0 19331419.0 830 江豐巨集 2010.0 泡沫之夏 244816854.0 224072795.0 1064 柳國慶 2010.0 保姆與保安 15321054.0 15265581.0 1171 韋正 2010.0 愛情公寓外傳 18102089.0 13617416.0 1594 張蠡/姜峰 2010.0 第5空間 214338242.0 210061655.0 1615 柯翰辰 2010.0 就想愛著你 53007279.0 49013748.0 1887 程力棟 2010.0 西遊記 18555046.0 18431140.0 2013 王加賓 2010.0 11向前衝 39765046.0 37876394.0 2081 何澍培 2010.0 大丫鬟 51099269.0 51090616.0 ------- 2011年有97條資料 導演 上映年份 整理後劇名 評分人數 好評數 284 楊玄 2011.0 千山暮雪 1.734464e+07 1.547548e+07 311 延藝 2011.0 盤龍臥虎高山頂 3.934580e+07 3.924897e+07 337 李國立 2011.0 步步驚心 3.733689e+07 3.408750e+07 691 黃建中 2011.0 王海濤今年41 1.344592e+08 1.234235e+08 702 張國立 2011.0 養父 1.951364e+07 1.950149e+07 1083 於正/李慧珠 2011.0 宮鎖心玉 9.324091e+08 8.586994e+08 1384 尚敬 2011.0 大學生士兵的故事 3.489208e+07 3.488127e+07 1446 林添一 2011.0 回家的誘惑 1.014866e+09 1.014811e+09 1689 王迎 2011.0 家的n次方 1.561293e+07 1.447166e+07 1750 沈怡 2011.0 愛情睡醒了 3.727770e+07 3.387295e+07 1855 付百良 2011.0 女人當官 1.673618e+07 1.410034e+07 1948 林添一/王偉庭 2011.0 活佛濟公2 2.711872e+07 2.404193e+07 25227 蕭鋒 2011.0 幸福密碼 4.413600e+07 4.413327e+07 ------- 2012年有83條資料 導演 上映年份 整理後劇名 評分人數 好評數 681 劉進 2012.0 懸崖 5124120.0 3996351.0 1196 金炳株 2012.0 仁顯王后的男人 5206043.0 4626576.0 1208 王振巨集 2012.0 櫻桃 8084382.0 6513878.0 1369 谷錦雲 2012.0 麻辣女兵 10547988.0 9669712.0 1380 郭靖宇 2012.0 紅娘子 9846816.0 8314314.0 1489 張建亞 2012.0 新西遊記 11484162.0 9729792.0 1668 李翰韜 2012.0 太平公主祕史 13857734.0 11888665.0 1837 賴水清 2012.0 天涯明月刀 11671479.0 10490442.0 1871 張博昱 2012.0 勝女的代價 21273416.0 18701904.0 26309 林添一 2012.0 薛平貴與王寶釧 7069296.0 6477006.0 ------- 2013年有134條資料 導演 上映年份 整理後劇名 評分人數 好評數 72 習辛 2013.0 2叔 2969473.0 2140252.0 261 邵警輝 2013.0 神祕人質 2670010.0 2175571.0 807 劉猛 2013.0 特種兵之火鳳凰 72746550.0 63740227.0 912 於正華 2013.0 鄰家花美男 12222002.0 11266397.0 913 姜信孝 2013.0 繼承者們 20423276.0 18397819.0 1354 林建中 2013.0 英雄聯盟 7582577.0 6379507.0 1444 陶秋普 2013.0 獨狼 4859055.0 3555687.0 1534 賴水清/曹國莉/劉國輝 2013.0 非緣勿擾 3731714.0 3304170.0 1609 沈怡/周國棟 2013.0 真愛惹麻煩 4437138.0 3762100.0 1649 趙浚凱 2013.0 武工隊傳奇 4803930.0 3867390.0 1824 張太侑 2013.0 來自星星的你 211803173.0 189782635.0 ------- 2014年有246條資料 導演 上映年份 整理後劇名 評分人數 好評數 339 李國立 2014.0 風中奇緣全集 33582919.0 29736130.0 425 林弢/胡宗祥 2014.0 謝文東 6652357.0 5734525.0 426 林弢/胡宗祥 2014.0 謝文東2 6334067.0 5527893.0 559 柯翰辰 2014.0 真愛遇到他 5934085.0 5001460.0 745 俞鍾 2014.0 絕愛 8264974.0 6453041.0 747 潘鏡丞 2014.0 新閨蜜時代 6957162.0 5964282.0 813 侯明傑 2014.0 我的特1營 10393899.0 8609670.0 878 錢雁秋 2014.0 大漠槍神 6288644.0 5253431.0 1112 張孝正 2014.0 濤女郎 9383046.0 7252193.0 1553 高翊浚 2014.0 武媚娘傳奇 91328299.0 73444480.0 1617 曾麗珍/王麗文 2014.0 戀戀不忘 24824510.0 18722585.0 1736 劉惠寧 2014.0 相愛10年 20462924.0 15930988.0 1939 張博昱 2014.0 幸福愛人 11069444.0 9022412.0 ------- 2015年有324條資料 導演 上映年份 整理後劇名 評分人數 好評數 98 劉猛 2015.0 特警力量 38965035.0 34765796.0 116 毛小睿 2015.0 小爸媽 13843324.0 10845473.0 263 朱銳斌 2015.0 仙俠劍 12257353.0 8589762.0 281 吳錦源/鄧衍成 2015.0 抓住彩虹的男人 16323976.0 13230803.0 430 焦曉雨 2015.0 地雷戰 9350124.0 7335714.0 476 陳玉珊/馬華幹/周曉鵬 2015.0 千金女賊 57678789.0 49943512.0 587 吳子牛 2015.0 大舜 8865405.0 6782176.0 652 鄒集城 2015.0 花火 12446127.0 10594296.0 743 黃家輝 2015.0 鴛鴦佩 17827128.0 12909386.0 1106 虎子/張文東 2015.0 野山鷹 9643269.0 6707485.0 1366 滕文驥/王為 2015.0 2胎時代 24608401.0 21156992.0 1663 潘鏡丞 2015.0 冰與火的青春 47471498.0 38431391.0 1674 孫皓 2015.0 加油吧實習生 198990274.0 175397693.0 1730 李印 2015.0 左手劈刀 10972150.0 8111186.0 1774 陳銘章 2015.0 克拉之戀 11178336.0 9864390.0 1775 陳銘章 2015.0 克拉戀人 301107808.0 256092092.0 1805 王小列 2015.0 神犬小7 82828676.0 76041178.0 1857 王梓 2015.0 俺娘田小草 11559426.0 8039081.0 1968 韋正 2015.0 愛情公寓番外篇 13816459.0 12222270.0 2018 俞鍾 2015.0 我的媳婦是女王 17072270.0 14224495.0 2033 黃祖權/藍志偉/麥炳華/譚朗昌 2015.0 聊齋新編 10692667.0 8420913.0 2084 李惠民/白雲默 2015.0 多情江山 33151339.0 25256433.0 2121 林峰 2015.0 少年神探狄仁傑 35482235.0 31894395.0 2142 林合隆 2015.0 錦繡緣華麗冒險 54482448.0 46376708.0 24177 缺失資料 2015.0 熊出沒之冬日樂翻天 8967986.0 6191465.0 -------