@

• 一、requests庫的安裝
• 二、requests庫的七個主要方法及簡單使用
• 三、requests庫的兩個重要物件
• 四、requests庫的異常(Exception)
• 五、HTTP協議
• 六、爬取網頁通用程式碼框架
• 七、網路爬蟲的限制

一、requests庫的安裝

Win平臺: win+R執行 cmd，執行

pip install requests

官方文件：https://docs.python-requests.org/zh_CN/latest/
我的是已經安裝好的

安裝成功後測試一下

import requests
r = requests.get("http://www.baidu.com")
print(r.text)
 

二、requests庫的七個主要方法及簡單使用

（1）七個方法

一般最常用到的方法是request(),get(),post()方法

（2）簡單使用

1.request()方法

r = requests.request(method, url, **kwargs)  # 構造一個請求，支撐以下各方法的基礎方法

• method : 請求方式，對應get/put/post等7種

• url : 擬獲取頁面的url連結

• **kwargs: 控制訪問的引數，共13個

  • method : 請求方式
    r = requests.request('GET', url, **kwargs)
    r = requests.request('HEAD', url, **kwargs)
    r = requests.request('POST', url, **kwargs)
    r = requests.request('PUT', url, **kwargs)
    r = requests.request('PATCH', url, **kwargs)
    r = requests.request('delete', url, **kwargs)
    r = requests.request('OPTIONS', url, **kwargs)

• params : 字典或位元組序列，作為引數增加到url中

訪問控制引數，也就是第三個引數 kwargs 示例

import requests
kv1 = {'key1': 'value1', 'key2': 'value2'}
rs1 = requests.request('GET', 'http://python123.io/ws',params = kv1)
print(rs1.text)
rs2 = requests.request('POST', 'http://python123.io/ws',data = kv1)
print(rs2.text)
kv2 = {'key1': 'value1'}
rs3 = requests.request('POST', 'http://python123.io/ws', json=kv2)
print(rs3.text)
hd = {'user‐agent': 'Chrome/10'}
rs4 = requests.request('POST', 'http://python123.io/ws', headers=hd)
rs5 = requests.request('post','',cookies = '字典或cookieJar')
rs6 = requests.request('post','',auth = '元組')
fs = {'file':open('data.xls','rd')}
rs7= requests.request('POST','',files = fs) # 傳輸檔案
rs8 = requests.request('GET','http://www.baidu.com',timeout = 10)
pxs = { 'http': 'http://user:[email protected]:1234','https': 'https://10.10.10.1:4321' }
rs9 = requests.request('GET','http://www.baidu.com',proxies = pxs)  # proxies 字典型別，設定訪問代理伺服器

2. get()方法

r = requests.get(url, params = None, **kwargs)

r = requests.get(url) # 獲取HTML網頁的主要方法，對應於HTTP的GET
r = requests.delete(url)
print(r.url)

3.head()方法

r = requests.head('http://httpbin.org/get')     # 獲取HTML網頁頭資訊的方法，對應於HTTP的HEAD
print(r.headers)

4.post()方法

r = requests.post(url, data=None, json=None, **kwargs)

示例

payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data=payload) # 向HTML網頁提交POST請求的方法，對應於HTTP的POST
r = requests.post('http://httpbin.org/post',data='abc')
print(r4.text)

5.put()方法

r = requests.put(url, data=None, **kwargs)

r = requests.put('http://httpbin.org/put',data=payload) # 向HTML網頁提`交PUT請求的方法，對應於HTTP的PUT
print(r.text)

6.patch()方法

r = requests.patch(url) # 向HTML網頁提交區域性修改請求，對應於HTTP`的PATCH

7.delete()方法

r = requests.delete(url, **kwargs)

r = requests.delete(url)   # 向HTML頁面提交刪除請求，對應於HTTP的DELETE

url : 擬刪除頁面的url連結

三、requests庫的兩個重要物件

Response和Request

（1）Request

• r == response 返回一個包含伺服器資源的response物件
• request 構造一個向伺服器請求資源的request物件
• 從請求到響應的過程

（2）Response物件

Response物件包含伺服器返回的所有資訊，也包含請求的Request資訊

有時候打印出來的網頁內容是亂碼，就像下面這樣

所以需要理解Response的編碼

1）r.encoding：如果header中不存在charset，則認為編碼為ISO‐8859‐1
2）r.text根據r.encoding顯示網頁內容
3）r.apparent_encoding：根據網頁內容分析出的編碼方式，可以看作是 r.encoding的備選

當我們把編碼方式改變後打印出來的內容為
有以下l兩種方式

r.encoding = 'utf-8'   #直接改變編碼
r.encoding = r.apparent_encoding  #用r.encoding的備選

四、requests庫的異常(Exception)

網路連線有風險，異常處理很重要
(1) Requests異常

（2）Response異常

r.raise_for_status()在方法內部判斷r.status_code是否等於200，不需要
增加額外的if語句，該語句便於利用try‐except進行異常處理

五、HTTP協議

（1）HTTP是一個基於“請求與響應”模式的、無狀態的應用層協議

• HTTP協議採用URL作為定位網路資源的標識，URL格式如下：
  - http://host[:port][path]
  - host: 合法的Internet主機域名或IP地址
  - port: 埠號，預設埠為80
  - path: 請求資源的路徑

URL是通過HTTP協議存取資源的Internet路徑，一個URL對應一個數據資源

（2）HTTP 對資源的操作

通過URL和命令管理資源，操作獨立無狀態，網路通道及伺服器成為了黑盒子

六、爬取網頁通用程式碼框架

import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()  # 如果狀態不是200，引發HTTPError異常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return '產生異常'

if __name__ == '__main__':
    url = input('請輸入url地址:')
    print(getHTMLText(url))

七、網路爬蟲的限制

Robots協議

• Robots(Robots Exclusion Standard)，網路爬蟲排除標準
  作用：網站告知網路爬蟲哪些頁面可以抓取，哪些不行。
  形式：在網站根目錄下的robots.txt檔案
  案例
  https://www.jd.com/robots.txt
  http://www.baidu.com/robots.txt
  http://www.qq.com/robots.txt
  http://news.qq.com/robots.txt
  
  #註釋，代表所有，/代表根目錄*

Robots協議的使用

網路爬蟲：自動或人工識別robots.txt，再進行內容爬取
約束性：Robots協議是建議但非約束性，網路爬蟲可以不遵守，但存在法律風險

小提示：
爬蟲作為一種計算機技術決定了它的中立性，爬蟲本身在法律上並不被禁止，如果爬蟲採集的是公開的資料則是可以的。當然操作不當，就可能涉及違法甚至是犯罪的風險。所以要合理使用，規範爬取。

本文來自部落格園，作者：Aurora*，轉載請註明原文連結：https://www.cnblogs.com/lang12/p/15377703.html