詳解python內建模組urllib
urllib 是 python 的內建模組, 主要用於處理url相關的一些操作,例如訪問url、解析url等操作。
urllib 包下面的 request
模組主要用於訪問url,但是用得太多,因為它的光芒全都被 requests
這個第三方庫覆蓋了,最常用的還是 parse
模組。 寫爬蟲過程中,經常要對url進行引數的拼接、編碼、解碼,域名、資源路徑提取等操作,這時 parse
模組就可以排上用場。
一、urlparse
urlparse
方法是把一個完整的URL拆分成不同的組成部分,你可以根據自己的需求提取其中的某部分內容。 返回結果 ParseResult 是 namedtuple 的子類,由以下10部分組成,每部分既可以通過名字獲取也可以通過下表索引得到。
>>> from urllib import parse >>> url = 'https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd' >>> result = parse.urlparse(url) # 返回ParseResult物件 >>> print(result) ParseResult(scheme='https',netloc='mp.weixin.qq.com',path='/s',params='',query='__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923',fragment='rd') # 通過下標獲取協議 >>> result[0] 'https' # 協議 >>> result.scheme 'https' # url資源路徑 >>> result.path '/s' # 查詢引數 >>> result.query '__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923' # 獲取主機名 >>> result.hostname 'mp.weixin.qq.com'
二、parse_qs
parse_qs 方法是將查詢引數這部分內容從字串轉換成字典物件
>>> parse.parse_qs(result.query) {'__biz': ['MjM5MzgyODQxMQ=='],'mid': ['2650366919'],'idx': ['1'],'sn': ['1b36a9f2c0921cdeac52942ec591a923']} >>>
每個引數名對應一個列表物件,這是因為在url規範中,一個引數名可以有多個值,例如: a=1&a=2,通常在實際應用場景中一般一個引數名只會對應一個值。
你可以用一行程式碼將列表轉化為字串
>>> {name: value[0] for name,value in parse.parse_qs(result.query).items()} {'__biz': 'MjM5MzgyODQxMQ==','mid': '2650366919','idx': '1','sn': '1b36a9f2c0921cdeac52942ec591a923'}
三、urlencode
反過來,如果將一個字典物件想轉換為url中的查詢引數,那麼就可以使用urlencode方法。
>>> d = {'__biz': 'MjM5MzgyODQxMQ==','idx': '1'} >>> parse.urlencode(d) '__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1'
四、quote
在URL的標準規範中,url 只允許數字、字母和部分特殊符號的存在,如果有中文和某些特殊符號,就需要使用UTF-8進行編碼,將這些字元轉換成 %XX 的形式,例如: 【中】UTF-8編碼的結果是:
>>> "中".encode() b'\xe4\xb8\xad'
那麼瀏覽器實際上會把【中】轉換成 %e4%b8%ad
在python中,就可以用 quote
方法進行URL編碼,對於特殊符號,也會進行成對應的16進位制符號, 例如 【=】 就轉換成了 %3D 。
>>> parse.quote("q=中") 'q%3D%E4%B8%AD' >>>
quote_plus
可以將空格編碼成“+”
>>> parse.quote_plus("a b") 'a+b' >>> parse.quote("a b") 'a%20b'
五、unquote
unquote 是 quote 的逆向過程,稱之為URL解碼,解碼方便開發者閱讀
>>> parse.unquote("q%3D%E4%B8%AD") 'q=中'
以上就是詳解python內建模組urllib的詳細內容,更多關於python內建模組urllib的資料請關注我們其它相關文章!