實戰 Python 網路爬蟲：美團美食商家資訊和使用者評論
阿新 • • 發佈：2018-12-22
實戰 Python 網路爬蟲
美團美食商家資訊和使用者評論
作者簡介：
Hyx，多年系統研發經驗，主要從事機器人流程系統研發、大資料系統研發、網路爬蟲研發以及自動化運維繫統開發。
擅長使用 Python 編寫高質量程式碼，對Python有深入研究，現為 CSDN 部落格專家和簽約講師，發表多篇原創博文，熱愛分享和新技術的探索。個人圖書出版：《玩轉 Python 網路爬蟲》、《玩轉 Django2.0》
Chat 簡介：
在開發爬蟲的時候，我們很容易分析 HTTP 請求、實現資料爬取和儲存，當專案真正執行起來的時候，卻發現數據沒爬到幾條就出現異常。
“程式開發正常，上線出異常”是因為網站的反爬蟲機制，這也是爬蟲工程師常見的問題之一。
本 Chat 主要講述如何爬取美團美食商家的評論資訊，通過實際的例子來進一步講述如何解決一些常見的反爬蟲策略。主要內容如下：
網站分析及專案設計；
爬取所有商家的資訊；
分別爬取每個商家的資訊和使用者評論資訊；
ORM 框架實現資料持久化儲存；
設定配置檔案，動態控制爬取方向；
基於請求頭的反爬蟲機制：根據商家資訊動態設定請求頭；
基於 Cookies 的發爬蟲機制：利用瀏覽器構建 Cookies 池；
分散式爬蟲的擴充套件說明。
長按掃碼報名