1. 程式人生 > >urllib實戰2--urllib基礎urlretrieve()、urlcleanup()、info()、getcode()、geturl()的應用

urllib實戰2--urllib基礎urlretrieve()、urlcleanup()、info()、getcode()、geturl()的應用

一:urllib基礎

     要系統的學習urllib模組,就要從基礎開始,下面會為大家實戰講解urlretrieve()、urlcleanup()、info()、getcode()、geturl()等。

二:實戰講解

    1:urlretrieve()的應用,可以將網站網址直接爬取到本地中

       格式:  request.urlretrieve(url,filename)     url為 要爬取的網站的地址,filename為本地的名。


此時開啟檔案

開啟015y.html這個檔案.


 2:urlcleanup()的應用,可以將urlretrieve()中的快取清理掉:


3:info() 可以將當前的基本環境資訊顯示出來:


4:getcode()獲取當前的網頁的狀態碼,geturl()獲取當前的網頁的網址。

     200狀態碼錶示網頁正常,403表示不正常。


三。綜上所述,所有程式碼為:

>>> from urllib import request
>>> request.urlretrieve("http://www.hellobi.com",filename="G:/BaiduDownload/python網路爬蟲/WODE/015y.html")
>>> request.urlcleanup()
>>> request.urlopen("http://www.hellobi.com")
>>> file=request.urlopen("http://www.hellobi.com")
>>> file.info()
>>> file.getcode()
>>> file.geturl()