什麼是urllib

urllib是python提供的一個用於操作URL的模組，在python2.x中有URllib庫，也有Urllib2庫，在python3.x中Urllib2合併到了Urllib中，我們爬取網頁的時候需要經常使用到這個庫。

升級合併之後，模組中包的位置變化的地方比較多。在此，我們總結併為大家列舉一些常見的位置變動，方便之前用python2.x的朋友在使用python3.x的時候可以快速的掌握，其他的在用到的時候再具體為大家講解。

常見的變化有：

python2.x中使用import urllib2——————對應的，在python3.x中會使用import urllib.request,urllib.error。

在python2.x中使用import urllib——————對應的，在python3.x中會使用import urlli.request，urllib.error

在python2.x中使用import urlparse—————對應的，在python3.x中會使用import urllib.parse

在python2.x中使用import urllib2——————對應的，在python3.x中會使用import urllib.request，urllib.error

在python2.x中使用urllib2.urlopen——————對應的，在python3.x中會使用import urllib.request.urlopen

在python2.x中使用urllib.quote——————對應的，在python3.x中會使用import urllib.request.quote

在python2.x中使用cookielib.CoolieJar——————對應的，在python3.x中會使用Http.CookieJar

在python2.x中使用urllib2.Request————對應的，在python3.x中會使用urllib.request.Request。

以上是對urllib相關模組中從python2.x到python3.x的常見的一些變動，如果之前使用的是python2.x版本或者在網上閱讀關於python2.x的程式碼，可以根據以上對應關係寫出python3.x程式

urllib與urllib2函式庫使用說明

（1）def urlopen(url,data=None,proxies=None)

引數說明：

url：需要開啟的網址（必須符合URL規範）

data：向指定的URL傳送的資料字串，Get或者POST都可以，但是必須符合標準格式，格式為：

         key1=value1&key2=value2.................

proxies:代理伺服器地址字典，如果未指定，在window平臺上則根據IE的設定不支援需要驗證的代理伺服器。

返回值說明：urlopen返回一個類檔案物件，該類檔案有如下方法：

read(),readline(),readlines(),fileno(),close()：這些方法的使用方式與檔案物件完全一樣；

info()：返回一個httplib.HTTPMessage物件，表示遠端伺服器返回的訊息；

getcode():返回HTTP狀態碼。如果是HTTP請求，200表示請求成功完成，404表示資源不存在或未找到。

程式碼例項：

#encoding:utf-8
import urllib
baidu=urllib.urlopen('http://www.baidu.com')
print "http header:\n",baidu.info()
print 'http status:\n',baidu.getcode()
print 'url:\n',baidu.geturl()
for i in baidu:
    print(i)
baidu.close()

執行結果：

（2）def urlretrieve(url, filename=None, reporthook=None, data=None)

引數說明：

url:符合URL規範的字串

filename:本地檔案路徑的字串，從URL返回的資料將儲存在該檔案中，如果設定為None則生成一個臨時檔案。

reporthook：一個函式引用，當連線上伺服器、以及相應的資料庫傳輸完畢的時候會觸發該函式，我們可以利用這個函式來顯示當前的下載進度等等。我們可以任意定義該函式的行為，只需要保證函式有三個引數：

                         第一個引數：為目前為止傳遞的資料塊數量

                         第二個引數：為每個資料塊的大小，單位為byte

                         第三個引數:為檔案總的大小（某些時候可能為-1）                 

data:向指定的URL傳送的資料字串，Get和Post都可以，但是必須符合標準格式:

                        key1=value1&key2=value2..........

函式返回值：返回一個元組（filename,headers）,filename為引數總的filename，header為從伺服器傳回來的MIME的型別。

例項：

#encoding:utf-8
import urllib
def do(a,b,c):
    """回撥函式
    @a: 已經下載的資料塊
    @b: 資料塊的大小
    @c: 遠端檔案的大小
    """
    per = 100.0 * a * b / c    
    if per > 100:    
        per = 100    
    print '%.2f%%' % per
url='http://www.baidu.com'
local="I:\python\StoreData\hello.html"
urllib.urlretrieve(url,local,do)

執行結果顯示：

（3）其他函式

urllib.quote(string[, safe])：對字串進行編碼。引數safe指定了不需要編碼的字元;

urllib.unquote(string) ：對字串進行解碼；

urllib.quote_plus(string[,safe]) ：與urllib.quote類似，但這個方法用'+'來替換' '，而quote用'%20'來代替' '

urllib.unquote_plus(string) ：對字串進行解碼；

urllib.urlencode(query[, doseq])：將dict或者包含兩個元素的元組列表轉換成url引數。例如 字典{'name': 'dark-bull', 'age': 200}將被轉換為"name=dark-bull&age=200"

urllib.pathname2url(path)：將本地路徑轉換成url路徑；

urllib.url2pathname(path)：將url路徑轉換成本地路徑；

import urllib
data = 'name = ~a+3'

data1 = urllib.quote(data)
print data1  # result: name%20%3D%20%7Ea%2B3
print urllib.unquote(data1)  # result: name = ~a+3

data2 = urllib.quote_plus(data)
print data2  # result: name+%3D+%7Ea%2B3
print urllib.unquote_plus(data2)  # result: name = ~a+3

data3 = urllib.urlencode({'name': 'dark-bull', 'age': 200})
print data3  # result: age=200&name=dark-bull

data4 = urllib.pathname2url(r'd:/a/b/c/23.php')
print data4  # result: ///D|/a/b/c/23.php
print urllib.url2pathname(data4)  # result: D:/a/b/c/23.php

執行結果：

urllib、urllib2程式碼實戰測試

（1）簡單讀取網頁資訊

#coding:utf-8
import  urllib
response=urllib.urlopen('http://www.baidu.com')
print response.read()

執行結果：