2. 程式人生 > >Python之urlib庫的基本使用（填坑）

Python之urlib庫的基本使用（填坑）

阿新 • • 發佈：2019-02-13

以下為個人在學習Python過程中做的筆記總結之爬蟲常用庫urllib

前言

urlib庫為python3的HTTP內建請求庫

urilib的四個模組：

  1. urllib.request:用於獲取網頁的響應內容
  2. urllib.error:異常處理模組，用於處理異常的模組
  3. urllib.parse:用於解析url
  4. urllib.robotparse:用於解析robots.txt，主要用於看哪些網站不能進行爬取，不過少用

一、urllib.request

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,cadefault=False

,context=None)

url:為請求網址
data:請求時需要傳送的引數
**timeou**t:超時設定，在該時間範圍內返回請求內容就不會報錯

示例程式碼：

from urllib import request

 # 請求獲取網頁返回內容
 response = request.urlopen('https://book.douban.com/')
 # 獲取網頁返回內容
 print(response.read().decode('utf-8'))
 # 獲取狀態碼
 print(response.status)
 # 獲取請求頭
print(response.getheaders())
 
# 對請求頭進行遍歷
for i, j in response.getheaders():
    print(i, '=', j)

可以使用上面的程式碼對一些網站進行請求了，但是當需要一些反爬網站時，這就不行了，這時我們需要適當地增加請求頭進行請求，這時就需要使用複雜一點的程式碼了，這時我們需要用到Request物件。

程式碼示例：

# 請求頭
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
 
}
requests = request.Request('https://book.douban.com/', headers=headers) # 加入自己的請求頭更加接近瀏覽器
# 進行請求,把Request物件傳入urlopen引數中
response = request.urlopen(requests)
print(response.read().decode('utf-8'))

這個我添加了請求頭進行請求，使機械爬蟲模擬瀏覽器傳送請求，更加接近人為的瀏覽。可以對應一些反爬網站了。

如果網站需要進行登陸，這時需要用到post方法，用上面的也是可以的。程式碼如下：

 from urllib import request, parse
 # 使用post方法來進行模擬登陸豆瓣
 data = {'source': 'None',
  'redir': 'https://www.douban.com/',
  'form_email': 'user',
  'form_password': 'passwd',
  'remember': 'on',
  'login': '登入'}
 # 將data的字典型別轉換為get請求方式
data = bytes(parse.urlencode(data), encoding='utf-8')
requests = request.Request('https://accounts.douban.com/login', headers=headers, data=data, method='POST')
response = request.urlopen(requests)
print(response.read().decode('utf-8'))

這裡我用到了data的引數把登陸需要的引數傳進去，還加了個請求方法Method。
parse.urlencode()後面有進行說明

PS:
兩種 HTTP 請求方法：GET 和 POST
在客戶機和伺服器之間進行請求-響應時，兩種最常被用到的方法是：GET 和 POST。

  • GET - 從指定的資源請求資料。
  • POST - 向指定的資源提交要被處理的資料

比較 GET 與 POST
這裡寫圖片描述
簡單來說get就是直接請求可以直接看到傳送的資料，可以被快取；post需要將傳送的資料生成為form表單檔案然後再上傳檔案進行get，傳送的資料無法直接預覽也無法被快取。因此post比get更加安全。

這裡還有另外一種新增請求頭的方法
Request.add_header(): 引數有兩個，分別為請求頭對應的鍵和值，這種方法一次只能新增一個請求頭，新增多個需要用到迴圈或者直接用前面的方法新增多個請求頭

在登陸了網站之後，我們需要用到cookie來儲存登陸資訊，這時就需要獲取cookie了。urllib獲取cookie比較麻煩。
程式碼示例如下：

 from http import cookiejar
 # 獲取cookie
 cookie = cookiejar.CookieJar()
 # 獲取助手把cookie傳進去
 handler = request.HTTPCookieProcessor(cookie)
 # 獲取opener進行請求網站
 opener = request.build_opener(handler)
 # 請求網頁
 response = opener.open('https://book.douban.com/')
# 列印cookie
for item in cookie:
    print(item.name, '=', item.value)

單純地列印沒什麼用，我們需要把他存入檔案來儲存，下次使用時再次載入cookie來登陸

儲存cookie為檔案：

from http import cookiejar
# 將cookie儲存在檔案中
filename = 'cookie.txt'
cookie = cookiejar.MozillaCookieJar(filename) # 表示使用Mozilla的cookie方式儲存和讀取
handler = request.HTTPCookieProcessor(cookie)
opener = request.build_opener(handler)
opener.open('https://book.douban.com/')
# 儲存檔案
cookie.save(ignore_discard=True, ignore_expires=True)

另一種儲存方法：

from http import cookiejar
cookie = cookiejar.LWPCookieJar(filename) # 表示 Set-Cookie3 檔案格式儲存和讀取
handler = request.HTTPCookieProcessor(cookie)
opener = request.build_opener(handler)
opener.open('https://book.douban.com/')
# 儲存檔案
cookie.save(ignore_discard=True, ignore_expires=True)

這兩種儲存格式都是不一樣的，需要儲存的內容一樣。

儲存可以了，這時就需要用到載入了，當然也可以。程式碼如下：

from http import cookiejar
# 從cookie檔案載入到網頁上實現記住登陸
cookie = cookiejar.LWPCookieJar()
# 載入檔案
cookie.load(filename, ignore_discard=True, ignore_expires=True)
handler = request.HTTPCookieProcessor(cookie)
opener = request.build_opener(handler)
opener.open('https://book.douban.com/')

cookie小總結：在操作cookie時，都是分五步，如下：

  1. 進行導包，至關重要的一步，不導包直接出錯。
  2. 獲取cookie處理物件，使用cookiejar包
  3. 建立cookie處理器，使用request.HTTPCookieJarProcessor()
  4. 利用cookie處理器構建opener，使用request.build_opener()
  5. 進行請求網站，用opener.open(),這個不能用request.urlopen()

如果有時你在同一ip連續多次傳送請求，會有被封ip的可能，這時我們還需要用到代理ip進行爬取，程式碼如下：

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://127.0.0.1:9743',
    'https': 'https://127.0.0.1:9743'
})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open('http://book.douban.com/',timeout=1)
print(response.read())

可以看到越複雜的請求都需要用到request.build_opener(),這個方法有點重要。

二、urllib.error

將上面的使用代理ip的請求進行異常處理，如下：

from urllib import request, error
try:
    proxy_handler = urllib.request.ProxyHandler({
        'http': 'http://127.0.0.1:9743',
        'https': 'https://127.0.0.1:9743'
    })
    opener = urllib.request.build_opener(proxy_handler)
    response=opener.open('https://movie.douban.com/', timeout=1)
except error.HTTPError as e:
    print(e.reason(), e.code(), e.headers())
except error.URLError as e:
    print(e.reason)

因為有時這個ip或許也被封了，有可能會丟擲異常，所以我們為了讓程式執行下去進而進行捕捉程式：

  • error.URLError: 這個是url的一些問題，這個異常只有一個reason屬性
  • error.HTTPError:這個是error.URLError的子類，所以在與上面的混合使用時需要將這個異常放到前面，這個異常是一些請求錯誤，有三個方法，.reason(), .code(), .headers(),所以在捕捉異常時通常先使用這個

三、urllib.parse

解析url:urllib.parse.urlparse(url, scheme=”, allow_fragments=True)

簡單的使用：

from urllib import request, parse
# 解析url
print(parse.urlparse('https://book.douban.com/'))
print(parse.urlparse('https://book.douban.com/', scheme='http'))
print(parse.urlparse('book.douban.com/', scheme='http'))
# 下面是結果
ParseResult(scheme='https', netloc='book.douban.com', path='/', params='', query='', fragment='')
ParseResult(scheme='https', netloc='book.douban.com', path='/', params='', query='', fragment='')
ParseResult(scheme='http', netloc='', path='book.douban.com/', params='', query='', fragment='')

可以看出加了scheme引數和沒加的返回結果是有區別的。而當scheme協議加了，而前面的url也包含協議，一般會忽略後面的scheme引數。

既然後解析url，那當然也有反解析url，就是把元素串連成一個url

from urllib.parse import urlunparse
# 將列表元素拼接成url
data = ['http', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))
# 下面是結果
http://www.baidu.com/index.html;user?a=6#comment

urlparse()接收一個列表的引數，而且列表的長度是有要求的，是必須六個引數以上，要不會丟擲異常

ValueError: not enough values to unpack (expected 7, got 6)

urllib.parse.urljoin():這個是將第二個引數的url缺少的部分用第一個引數的url補齊

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

輸出結果：

http://www.baidu.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html?question=2
https://cuiqingcai.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2

urllib.parse.urlencode():這個方法是將字典型別的引數轉為請求為get方式的字串

from urllib.parse import urlencode

params = {
    'name': 'germey',
    'age': 22
}
base_url = 'http://www.baidu.com?'
url = base_url + urlencode(params)
print(url)

輸出結果：

http://www.baidu.com?name=germey&age=22

四、總結

還有個urllib.robotparse庫少用，就不說了，如果需要的話再去查官方文件吧。
上面的只是我在學習過程中的總結，如果有什麼錯誤的話，歡迎在留言區指出，還有就是需要檢視更多用法的請檢視官方文件文件https://docs.python.org/3/library/urllib.html

需要程式碼的可以去我的github上面fork，給個star也行！
https://github.com/ldz0/Python-jupyter-notebooks
PS：筆記需要使用jupyter notebook開啟，之前的文章已經介紹了jupyter的簡單安裝和使用，是非常方便記錄筆記的工具。

本文主要參考崔慶才先生《Python3網路爬蟲開發實戰》學習總結而來

相關推薦

Python之urlib庫的基本使用（填坑）

以下為個人在學習Python過程中做的筆記總結之爬蟲常用庫urllib 前言 urlib庫為python3的HTTP內建請求庫 urilib的四個模組： urllib.request:用於獲取網頁的響應內容 urllib.error:異常處理模組，用於

Python之requests庫的基本使用（填坑）

前言 在使用了urllib庫之後，感覺很麻煩，比如獲取個cookie都需要分幾步，程式碼又多，又繁，那有沒有更加容易點的請求庫呢？答案是有的，那就是第三方庫requests,這個庫的作者是大名鼎鼎的kennethreitz，創作這個庫的原因就是想讓python

unity開發之七：unity2017自帶高通ar使用方法（填坑）

一：首先我們先把2017.2自帶的高通ar包下載下來，然後才有選擇的選項 二：我們開始建AR專案 首先我們往場景中新增ARCamera，我們發現我們輸入key，需要如下的操作：，然後我們去官網申

Python之面向對象（初級篇）

one 這一 調用 現實生活 ram 每次 open java 自我 面向過程：根據業務邏輯從上到下寫壘代碼 函數式：將某功能代碼封裝到函數中，日後便無需重復編寫，僅調用函數即可 面向對象：對函數進行分類和封裝，讓開發“更快更好更強...” 面向過程編程最易被初學者接受

python之路——函數（進階）

fun false 技術 對象 pri pre star rgs 美的 函數名（第一對象） 1. 函數的內存地址，print（func） def func(): print(222) print(func) 2. 函數名可以賦值給其他變量 def func

【轉】Python之正則表示式（re模組）

【轉】Python之正則表示式（re模組） 本節內容 re模組介紹 使用re模組的步驟 re模組簡單應用示例 關於匹配物件的說明 說說正則表示式字串前的r字首 re模組綜合應用例項 參考文件 提示： 由於該站對MARKDOWN的表格支援的不是很好，所以本文中的表

win10下 JDK配置（填坑）

兩個專案同時進行，一個專案使用1.6JDK，一個專案使用1.8JDK。 1、安裝了1.8以後，java -version 顯示為1.8版本，OK沒問題。 2、當需要用1.6的時候，將JDK的JAVA_HOME切換為1.6以後，在之前的cmd視窗中java -version，顯示的還是1.8。 將cmd視窗關閉

樂優商城（填坑）——秒殺商品新增

一、需求 後臺商品管理中，將商品新增到可秒殺商品列表 選中商品將其設定為可秒殺。 選擇具體的參與秒殺的商品規格，然後設定相關引數，點選儲存即可。 二、後端介面修改 原來的新增秒殺商品介面在leyou-secskill微服務中，現在將其移動到leyou-item中，程式

樂優商城（填坑）——後臺登入

後臺管理模組增加登入驗證，與入口網站一樣都是採用無狀態登入。 一、新增全域性函式 在main.js中新增使用者驗證： 二、修改路由 先顯示登入頁面 效果： 三、解決cookie寫入問題 在http.js中新增配置： 四、登入 Log

python之Gui學習筆記（新手上路）

GUI程式建立步驟： 1、 import Tkinter GUI繪製類 2、 生成主視窗，設定主視窗屬性 3、生成控制元件，設定控制元件屬性 4、把控制元件新增到視窗中 5、給控制元件繫結事件 6、進入訊息迴圈 示例： #coding:utf-8 import Tkinter root=

python之collections模塊（OrderDict,defaultdict）

str mutable item 有一個 sync chain mut container .com 前言： import collections print([name for name in dir(collections) if not name.startswit

python插入第三方庫wordcloud（詞雲）的步驟和出現的問題

    在利用python做資料分析時，我們常常會用到詞語wordcloud這一第三方庫來對資料進行視覺化分析。下面我便來記錄一下自己在匯入詞語這一庫時的步驟及遇到的問題。  由於在pycharm開發環境下直接搜尋wordcloud時

Mybatis逆向工程（填坑）

在MyBatis逆向工程的過程中出現錯誤： Mon Sep 25 11:22:05 CST 2017 WARN: Establishing SSL connection without server'

git ssh連線（填坑）

ssh-keygen -t rsa -C ”[email protected]” 一路回車 ssh -T [email protected] (@後面是填寫的域名，如果是github的就填寫github，如果是其他的，例如gitlab的，

python之正則表示式（基礎篇）

前言 在向網頁進行了提交請求之類的之後，我們可以得到了網頁的返回內容，裡面自然而然會有我們想要的資料，但是html元素文字這麼多，我們不可能一 一去找我們需要的資料，這時就需要用到正則表示式了，正則表示式是學爬蟲必須學的內容，而且不止python可以用，jav

SpringBoot和hadoop元件Hive的整合（填坑）

說實話，SpringBoot和Hive的整合還是有不少坑的，最主要的坑就是jar包衝突的問題，這個坑我這裡添了我遇到的坑，我提供了原始碼，放在後邊的連結中，以下是部分的程式碼。 1.上maven依賴，如下： <project xmlns="http://maven.

【pytest官方文件】解讀fixtures - 8. yield和addfinalizer的區別（填坑）

在[上一章](https://www.cnblogs.com/pingguo-softwaretesting/p/14479170.html)中，文末留下了一個坑待填補，疑問是這樣的： 目前從官方文件中看到的是 ``` We have to be careful though, because pytest

菜鳥的Python之路--基礎知識（列表的基本操作）

python列表list1 = [,,,,,]list2 = [,,] t = [,,,,,] t.sort(=)(t)本文出自 “11316806” 博客，請務必保留此出處http://11326806.blog.51cto.com/11316806/1959140菜鳥的Python之路--基礎知識（列表的

運維學python之爬蟲中級篇（五）數據存儲（無數據庫版）

就是 erro mage name 打印 反序 lis object Circul 本篇主要介紹，爬取html數據後，將html的正文內容存儲為json或csv格式。 1 json格式存儲 選定要爬取的網站後，我們利用之前學過的內容，如：Beautiful Soup、xpa

運維學python之爬蟲中級篇（九）Python3 MySQL 數據庫連接

結束 學python ofo 如何 res 2.7 獲取數據 執行 mail 最近因為年底，連續兩個項目要投產上線，又趕上公司年會，忙的要死，更新有些慢，見諒。今天要說一說python如何對mysql進行操作。在 Python3.x 版本中用於連接 MySQL 服務器的庫與