Python爬取新型冠狀病毒“謠言”新聞進行資料分析
阿新 • • 發佈:2020-02-17
一、爬取資料
話不多說了,直接上程式碼( copy即可用 )
import requests import pandas as pd class SpiderRumor(object): def __init__(self): self.url = "https://vp.fact.qq.com/loadmore?artnum=0&page=%s" self.header = { "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML,like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",} def spider_run(self): df_all = list() for url in [self.url % i for i in range(30)]: data_list = requests.get(url,headers=self.header).json()["content"] temp_data = [[df["title"],df["date"],df["result"],df["explain"],df["tag"]] for df in data_list] df_all.extend(temp_data) print(temp_data[0]) pd.DataFrame(df_all,columns=["title","date","result","explain","tag"]).to_csv("冠狀病毒謠言資料.csv",encoding="utf_8_sig") if __name__ == '__main__': spider = SpiderRumor() spider.spider_run()
爬蟲過程
二、資料分析
資料展示
每日謠言數量
由圖可得:1月24日和1月25日是謠言的高峰期,讓我們來看看這兩天的資料:
由上圖得知 一月二十四號和二十號傳播的 29 條謠言中 96.55% 都是假的
謠言是否屬實佔比
從1月18日到今日截止2月14日共發現了300條謠言,右上圖可得:76.33% 都是假的,只要 7.00% 是屬實的,其中 14.33% 的謠言屬於 偽科學 而且 還有 8.00% 屬於尚無定論憑空捏造出的,需要多注意⚠️
謠言的關鍵字展示
下面介紹 matplotlib 繪製餅圖的程式碼
import numpy as np import pandas as pd import matplotlib.pyplot as plt # Windows系統設定中文字型 plt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus'] = False data = pd.read_csv("/冠狀病毒謠言資料.csv"") labels = data["explain"].value_counts().index.tolist() sizes = data["explain"].value_counts().values.tolist() colors = ['lightgreen','gold','lightskyblue','lightcoral'] plt.figure(figsize=(15,8)) plt.pie(sizes,labels=labels,colors=colors,autopct='%1.1f%%',shadow=True,startangle=50) # shadow=True 表示陰影 plt.axis('equal') # 使圖居中 plt.show()
繪製謠言關鍵字分佈圖(觀察 tag 這個欄位)
由於 tag 這個欄位內容是列表,我們取出來後是列表巢狀列表:[[a,b],[b,c],[c,d]] 我們要使用一行列表生成式快速的將所以的關鍵字取出來 [j for i in a for j in i]
import numpy as np import pandas as pd import matplotlib.pyplot as plt # Windows系統設定中文字型 plt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus'] = False data = pd.read_csv("/冠狀病毒謠言資料.csv"") df = pd.Series([j for i in [eval(i) for i in data["tag"].tolist()] for j in i]).value_counts()[:20] X = df.index.tolist() y = df.values.tolist() plt.figure(figsize=(15,8)) # 設定畫布 plt.bar(X,y,color="orange") plt.tight_layout() # plt.grid(axis="y") plt.grid(ls='-.') plt.show()
總結
以上所述是小編給大家介紹的Python爬取新型冠狀病毒“謠言”新聞進行資料分析,希望對大家有所幫助!