python自帶Urllib庫的使用
阿新 • • 發佈:2019-01-24
Uillib庫python3自帶的上個操作URL的包,功能強大。使用方法,首先載入庫。
```
import urllib
```
urllib包裡面有四個模組
urllib.request
urllib.error
urllib.parse
urllib.robotparser
urllib.request模組最重要,它主要包含對伺服器請求的發出、跳轉、代理和安全等各個方面的功能實現
**
urllib.request中重要函式的使用
載入import urllib.request
**
urllib.request.urlopen()開啟網頁,我的網站需要decode(‘utf-8’)編碼
urllib.request.urlretrieve(url,filename)以寫入的方式開啟網。Urlretrieve執行過程中,會產生一些快取,可以用urlcleanup()清除。
info()返回當前環境資訊。
getcode()返回狀態碼
geturl()返回當前網址
urllib.request.quote()用於URL編碼
urllib.request.unquote()用於解碼
反反爬蟲方法
1.使用abb_header()新增報頭
2.使用IP代理
3.延時訪問