urllib實戰2--urllib基礎urlretrieve()、urlcleanup()、info()、getcode()、geturl()的應用
阿新 • • 發佈:2019-01-27
一:urllib基礎
要系統的學習urllib模組,就要從基礎開始,下面會為大家實戰講解urlretrieve()、urlcleanup()、info()、getcode()、geturl()等。
二:實戰講解
1:urlretrieve()的應用,可以將網站網址直接爬取到本地中
格式: request.urlretrieve(url,filename) url為 要爬取的網站的地址,filename為本地的名。
此時開啟檔案
開啟015y.html這個檔案.
2:urlcleanup()的應用,可以將urlretrieve()中的快取清理掉:
3:info() 可以將當前的基本環境資訊顯示出來:
4:getcode()獲取當前的網頁的狀態碼,geturl()獲取當前的網頁的網址。
200狀態碼錶示網頁正常,403表示不正常。
三。綜上所述,所有程式碼為:
>>> from urllib import request
>>> request.urlretrieve("http://www.hellobi.com",filename="G:/BaiduDownload/python網路爬蟲/WODE/015y.html")
>>> request.urlcleanup()
>>> request.urlopen("http://www.hellobi.com")
>>> file=request.urlopen("http://www.hellobi.com")
>>> file.info()
>>> file.getcode()
>>> file.geturl()