1. 程式人生 > >python爬蟲如何入門

python爬蟲如何入門

多進程 重復 單點 必須 dns 解決方案 思路 指南 req

學爬蟲是循序漸進的過程,作為零基礎小白,大體上可分為三個階段,第一階段是入門,掌握必備的基礎知識,第二階段是模仿,跟著別人的爬蟲代碼學,弄懂每一行代碼,第三階段是自己動手,這個階段你開始有自己的解題思路了,可以獨立設計爬蟲系統。

爬蟲涉及的技術包括但不限於熟練一門編程語言(這裏以 Python 為例) HTML 知識、HTTP/HTTPS 協議的基本知識、正則表達式、數據庫知識,常用抓包工具的使用、爬蟲框架的使用、涉及到大規模爬蟲,還需要了解分布式的概念、消息隊列、常用的數據結構和算法、緩存,甚至還包括機器學習的應用,大規模的系統背後都是靠很多技術來支撐的。爬蟲只是為了獲取數據,分析、挖掘這些數據才是價值,因此它還可以延伸到數據分析、數據挖掘等領域,給企業做決策,所以作為一名爬蟲工程師,是大有可為的。

那麽是不是一定要把上面的知識全學完了才可以開始寫爬蟲嗎?當然不是,學習是一輩子的事,只要你會寫 Python 代碼了,就直接上手爬蟲,好比學車,只要能開動了就上路吧,當然寫代碼可比開車安全多了。

用 Python 寫爬蟲,首先需要會 Python,把基礎語法搞懂,知道怎麽使用函數、類和常用的數據結構如 list、dict 中的常用方法就算基本入門。接著你需要了解 HTML,HTML 就是一個文檔樹結構,網上有個 HTML 30分鐘入門教程 夠用了。然後是關於 HTTP 的知識,爬蟲基本原理就是通過網絡請求從遠程服務器下載數據的過程,而這個網絡請求背後的技術就是基於 HTTP 協議。作為入門爬蟲來說,你需要了解 HTTP協議的基本原理,雖然 HTTP 規範用一本書都寫不完,但深入的內容可以放以後慢慢去看,理論與實踐相結合。

網絡請求框架都是對 HTTP 協議的實現,比如著名的網絡請求庫 Requests 就是一個模擬瀏覽器發送 HTTP 請求的網絡庫。了解 HTTP 協議之後,你就可以專門有針對性的學習和網絡相關的模塊了,比如 Python 自帶有 urllib、urllib2(Python3中的urllib),httplib,Cookie等內容,當然你可以直接跳過這些,直接學習 Requests 怎麽用,前提是你熟悉了 HTTP協議的基本內容。這裏不得不推薦的一本書是《圖解HTTP》。數據爬下來,大部分情況是 HTML 文本,也有少數是基於 XML 格式或者 Json 格式的數據,要想正確處理這些數據,你要熟悉每種數據類型的解決方案,比如JSON數據可以直接使用 Python自帶的模塊 json,對於 HTML 數據,可以使用 BeautifulSoup、lxml 等庫去處理,對於 xml 數據,除了可以使用 untangle、xmltodict等第三方庫。

入門爬蟲,學習正則表達式並不是必須的,你可以在你真正需要的時候再去學,比如你把數據爬取回來後,需要對數據進行清洗,當你發現使用常規的字符串操作方法根本沒法處理時,這時你可以嘗試了解一下正則表達式,往往它能起到事半功倍的效果。Python 的 re 模塊可用來處理正則表達式。這裏也推薦幾個教程:正則表達式30分鐘入門教程 Python正則表達式指南 正則表達式完全指南

數據清洗完最終要進行持久化存儲,你可以用文件存儲,比如CSV文件,也可以用數據庫存儲,簡單的用 sqlite,專業點用 MySQL,或者是分布式的文檔數據庫 MongoDB,這些數據庫對Python都非常友好,有現成的庫支持。 Python操作MySQL數據庫 通過Python連接數據庫

從數據的抓取到清洗再到存儲的基本流程都走完了,也算是基本入門了,接下來就是考驗內功的時候了,很多網站都設有反爬蟲策略,他們想方設法阻止你用非正常手段獲取數據,比如會有各種奇奇怪怪的驗證碼限制你的請求操作、對請求速度做限制,對IP做限制、甚至對數據進行加密操作,總之,就是為了提高獲取數據的成本。這時你需要掌握的知識就要更多了,你需要深入理解 HTTP 協議,你需要理解常見的加解密算法,你要理解 HTTP 中的 cookie,HTTP 代理,HTTP中的各種HEADER。爬蟲與反爬蟲就是相愛相殺的一對,道高一次魔高一丈。如何應對反爬蟲沒有既定的統一的解決方案,靠的是你的經驗以及你所掌握的知識體系。這不是僅憑21天入門教程就能達到的高度。

數據結構和算法

進行大規模爬蟲,通常都是從一個URL開始爬,然後把頁面中解析的URL鏈接加入待爬的URL集合中,我們需要用到隊列或者優先隊列來區別對待有些網站優先爬,有些網站後面爬。每爬去一個頁面,是使用深度優先還是廣度優先算法爬取下一個鏈接。每次發起網絡請求的時候,會涉及到一個DNS的解析過程(將網址轉換成IP)為了避免重復地 DNS 解析,我們需要把解析好的 IP 緩存下來。URL那麽多,如何判斷哪些網址已經爬過,哪些沒有爬過,簡單點就是是使用字典結構來存儲已經爬過的的URL,但是如果碰過海量的URL時,字典占用的內存空間非常大,此時你需要考慮使用 Bloom Filter(布隆過濾器),用一個線程逐個地爬取數據,效率低得可憐,如果提高爬蟲效率,是使用多線程,多進程還是協程,還是分布式操作。

關於實踐

網上的爬蟲教程多如牛毛,原理大體相同,只不過是換個不同的網站進行爬取,你可以跟著網上的教程學習模擬登錄一個網站,模擬打卡之類的,爬個豆瓣的電影、書籍之類的。通過不斷地練習,從遇到問題到解決問題,這樣的收獲看書沒法比擬的。

爬蟲常用庫

urllib、urlib2(Python中的urllib)python內建的網絡請求庫

urllib3:線程安全的HTTP網絡請求庫

requests:使用最廣泛的網絡請求庫,兼容py2和py3

grequests:異步的requests

BeautifulSoup:HTML、XML操作解析庫

lxml:另一種處理 HTML、XML的方式

tornado:異步網絡框架

Gevent:異步網絡框架

Scrapy:最流行的爬蟲框架

pyspider:爬蟲框架

xmltodict:xml轉換成字典

pyquery:像jQuery一樣操作HTML

Jieba :分詞

SQLAlchemy:ORM框架

celery :消息隊列

rq:簡單消息隊列

python-goose :從HTML中提取文本

書籍

《圖解HTTP》

《HTTP權威指南》

《計算機網絡:自頂向下方法》

《用Python寫網絡爬蟲》

《Python網絡數據采集》

《精通正則表達式》

《Python入門到實踐》

《自己動手寫網絡爬蟲》

《Crypto101》

《圖解密碼技術》

教程

Python爬蟲學習系列教程

Python入門網絡爬蟲之精華版

Python網絡爬蟲

爬蟲入門系列

python爬蟲如何入門