Python爬蟲實戰，Scrapy實戰，中國地震臺網資料視覺化
阿新 • • 發佈：2021-06-21
前言
總感覺最近好多地震的新聞，就想著爬一波地震相關的資料來看看。
開發工具
Python 版本：3.6.4
相關模組：
scrapy模組；
jieba模組；
pyecharts模組；
folium模組；
wordcloud模組；
fake_useragent模組；
以及一些Python自帶的模組。
環境搭建
安裝Python並新增到環境變數，pip安裝需要的相關模組即可。
資料爬取
首先新建一個project：
然後開啟中國地震臺網：
http://news.ceic.ac.cn/index.html
發現使用網站自帶的查詢功能就可以查詢到指定時間和經緯度範圍的地震資料：
OK，那就開始寫程式碼吧~
先在items.py檔案內定義我們要爬取的資料：
class EarthquakeItem(scrapy.Item):
在spiders資料夾下新建main.py函式寫我們爬蟲主程式，這裡我們爬取的是從2000年1月1日開始至今網站上所有有記錄的地震資料(事實上，跑完程式碼發現網站裡只有從2012年開始的地震資料T_T)：
'''main'''
OK，大功告成了，在第一個earthquake資料夾下執行如下命令就行了：
scrapy crawl earthquake -o eqdata.json -t json
爬取的資料將儲存在eqdata.json檔案內。
文章到這裡就結束了，感謝你的觀看，關注我每天分享Python爬蟲實戰系列，下篇文章分享爬蟲天氣資料並分析。
為了感謝讀者們，我想把我最近收藏的一些程式設計乾貨分享給大家，回饋每一個讀者，希望能幫到你們。
乾貨主要有：
① 2000多本Python電子書（主流和經典的書籍應該都有了）
② Python標準庫資料（最全中文版）
③ 專案原始碼（四五十個有趣且經典的練手專案及原始碼）
④ Python基礎入門、爬蟲、web開發、大資料分析方面的視訊（適合小白學習）
⑤ Python學習路線圖（告別不入流的學習）
All done~完整原始碼+乾貨詳見個人簡介或者私信獲取相關檔案。。