爬蟲分析Robots協議
一 Robots協議
1 點睛
Robots協議也稱作爬蟲協議、機器人協議,它的全名叫作網路爬蟲排除標準(Robots Exclusion Protocol),用來告訴爬蟲和搜尋引擎哪些頁面可以抓取,哪些不可以抓取。
它通常是一個叫作robots.txt的文字檔案,一般放在網站的根目錄下。
當搜尋爬蟲訪問一個站點時,它首先會檢查這個站點根目錄下是否存在robots.txt檔案,如果存在,搜尋爬蟲會根據其中定義的爬取範圍來爬取。如果沒有找到這個檔案,搜尋爬蟲便會訪問所有可直接訪問的頁面。
2 舉例1
User-agent: * Disallow: / Allow: /public/
3 說明1
這實現了對所有搜尋爬蟲只允許爬取public目錄的功能,將上述內容儲存成robots.txt檔案,放在網站的根目錄下,和網站的入口檔案(比如index.php、index.html和index.jsp等)放在一起。
Disallow指定了不允許抓取的目錄,比如上例子中設定為/則代表不允許抓取所有頁面。
Allow一般和Disallow一起使用,一般不會單獨使用,用來排除某些限制。現在我們設定為/public/,則表示所有頁面不允許抓取,但可以抓取public目錄。
4 舉例2
User-agent: Baiduspider
5 說明2
這就代表我們設定的規則對百度爬蟲是有效的。如果有多條User-agent記錄,則就會有多個爬蟲會受到爬取限制,但至少需要指定一條。
6 禁止所有爬蟲訪問任何目錄
User-agent: *
Disallow: /
7 允許所有爬蟲訪問任何目錄
User-agent: *
Disallow:
8 禁止所有爬蟲訪問網站某些目錄的程式碼如下:
User-agent: *
Disallow: /private/
Disallow: /tmp/
9 只允許某一個爬蟲訪問的程式碼如下:
User-agent: WebCrawler Disallow: User-agent: * Disallow: /
二 常見爬蟲名稱
爬蟲名稱 |
名稱 |
網站 |
BaiduSpider |
百度 |
|
Googlebot |
谷歌 |
|
360Spider |
360搜尋 |
|
YodaoBot |
有道 |
|
ia_archiver |
Alexa |
|
Scooter |
altavista |
三 robotparser
1 點睛
瞭解Robots協議之後,我們就可以使用robotparser模組來解析robots.txt了。該模組提供了一個類RobotFileParser,它可以根據某網站的robots.txt檔案來判斷一個爬取爬蟲是否有許可權來爬取這個網頁。
該類用起來非常簡單,只需要在構造方法裡傳入robots.txt的連結即可。
首先看一下它的宣告:
urllib.robotparser.RobotFileParser(url='')
當然,也可以在宣告時不傳入,預設為空,最後再使用set_url()方法設定一下也可。
2 RobotFileParser類的常見方法
-
set_url():用來設定robots.txt檔案的連結。如果在建立RobotFileParser物件時傳入了連結,那麼就不需要再使用這個方法設定了。
-
read():讀取robots.txt檔案並進行分析。注意,這個方法執行一個讀取和分析操作,如果不呼叫這個方法,接下來的判斷都會為False,所以一定記得呼叫這個方法。這個方法不會返回任何內容,但是執行了讀取操作。
-
parse():用來解析robots.txt檔案,傳入的引數是robots.txt某些行的內容,它會按照robots.txt的語法規則來分析這些內容。
-
can_fetch():該方法傳入兩個引數,第一個是User-agent,第二個是要抓取的URL。返回的內容是該搜尋引擎是否可以抓取這個URL,返回結果是True或False。
-
mtime():返回的是上次抓取和分析robots.txt的時間,這對於長時間分析和抓取的搜尋爬蟲是很有必要的,你可能需要定期檢查來抓取最新的robots.txt。
-
modified():它同樣對長時間分析和抓取的搜尋爬蟲很有幫助,將當前時間設定為上次抓取和分析robots.txt的時間。
3 程式碼
from urllib.robotparser import RobotFileParser
# 建立RobotFileParser物件
rp = RobotFileParser()
# 然後通過set_url()方法設定了robots.txt的連結。
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
#can_fetch()方法判斷了網頁是否可以被抓取。
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
4 執行結果
E:\WebSpider\venv\Scripts\python.exe E:/WebSpider/3_1_4.py
False
False