The Website is the API

requests庫

requests庫的7個主要方法

requests.request

構造一個請求
requests.request(method,url,[**kwarges])

• method：請求方式（get，post，put，patch，head，delete，option）
• url：url連結

• **kwarges:

  • params[字典或位元組序列，作為引數增加到url中]
  • data[字典，位元組序列或檔案物件，作為request的內容]
  • json[json格式資料，作為request的內容]，headers[字典，HTTP頭]
  • cookies[字典或cookiejar，request中的cookie]
  • auth[元組，支援http認證功能]
  • files[字典，傳輸檔案]
  • timeout[設定超時時間，以s為單位]
  • proxies[字典型別，設定代理伺服器，可增加登入認證]
  • allow_redirects[重定向開關，預設為True]
  • stream[獲取內容立即下載開關，預設為True]
  • verify[認證ssl證書開關，預設為True]
  • cert[本地ssl證書路徑]

requests.get()

請求獲取url位置的資源
r=request.get(url,params,**kwargs)

requests.head()

請求獲取資源的頭部資訊
requests.head(url,**kwargs)

requests.post()

請求向url位置的資源後附加新的資料
requests.post(url,data,json,**kwargs)

requests.put()

請求向url位置儲存一個資源覆蓋原有的資源
requests.put(url,data,**kwargs)

requests.patch()

請求改變該資源的部分內容
requests.patch(url,data,**kwargs)

requests.delete()

請求刪除url位置儲存的資源
requests.delete(url,**kwargs)

requests請求返回的response物件

• 構造一個向伺服器請求資源的requests物件
• 返回一個包含伺服器資源的response物件
  
  • r.status_code - http請求的返回狀態
  • r.text - HTTP響應內容的字串形式
  • r.encoding - 從HTTP header中猜測的響應內容編碼方式（如果http header中不存在charset，則認為編碼為ISO-8859-1）
  • r.apparent_encoding - 從內容中分析出的響應內容的編碼方式（備選編碼方式）
  • r.content - http響應內容的二進位制形式

requests庫的異常

• requests.ConectionError - 網路連線異常，如DNS查詢失敗、拒絕連線等
• requests.HTTPError - HTTP錯誤異常
• requests.URLRequired - URL缺失異常
• requests.TooManyRedirects - 超過最大重定向次數
• requests.ConnectTimeout - 連線遠端伺服器超時
• requests.Timeout - 請求url超時
• r.raise_for_status() - 如果不是200，產生requests.HTTPError

爬取網頁的通用程式碼框架

網路連線有風險，異常處理很重要

import requests
def getHTMLText(url):
    try:
        r = request.get(url,timeout=30)
        r.raise_for_status() #如果狀態不是200，引發HTTPError異常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "產生異常"
if __name__=="__main__":
    url = "www.baidu.com"
    print(getHTMLText(url))

網路爬蟲盜亦有道

爬蟲尺寸

• 爬取網頁 玩轉網頁(小)
• 爬取網站 爬取系列網站(scrapy)(中)
• 爬取全網(google，百度)(大)

問題

• 網路爬蟲的“騷擾”
• 網路爬蟲的法律風險
• 隱私洩露

爬蟲限制

來源審查：判斷user-agent進行限制
釋出公告：robots協議

robots協議

作用：網站告訴爬蟲那些網站可以抓取，哪些不行
形式：在網站的根目錄下放置robots.txt檔案

robots協議的基本語法：

User-agent：*（爬蟲名）
Disallow：/（不允許訪問的目錄）

robots協議的使用

網路爬蟲：自動或人工識別robots.txt,再進行內容爬取

約束性：robots協議是建議但非約束性，網路爬蟲可以不遵守，但存在法律風險。