1. 程式人生 > >第八節:web爬蟲之urllib(五)

第八節:web爬蟲之urllib(五)

模塊 otp robot size 分享 png http 不可 parser

第四個模塊 robotparser:

  主要是用來識別網站的 robots.txt 文件,然後判斷哪些網站可以爬,哪些網站不可以爬的,其實用的比較少。

技術分享圖片

第八節:web爬蟲之urllib(五)