引入

Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。

警告：非專業使用其他 HTTP 庫會導致危險的副作用，包括：安全缺陷症、冗餘程式碼症、重新發明輪子症、啃文件症、抑鬱、頭疼、甚至死亡。

今日概要

• 基於requests的get請求
• 基於requests模組的post請求
• 基於requests模組ajax的get請求
• 基於requests模組ajax的post請求
• 綜合專案練習：爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關資料

知識點回顧

• 常見的請求頭
• 常見的相應頭
• https協議的加密方式

今日詳情

- 基於如下5點展開requests模組的學習

• 什麼是requests模組
  • requests模組是python中原生的基於網路請求的模組，其主要作用是用來模擬瀏覽器發起請求。功能強大，用法簡潔高效。在爬蟲領域中佔據著半壁江山的地位。
• 為什麼要使用requests模組
  • 因為在使用urllib模組的時候，會有諸多不便之處，總結如下：
    • 手動處理url編碼
    • 手動處理post請求引數
    • 處理cookie和代理操作繁瑣
    • ......
  • 使用requests模組：
    • 自動處理url編碼
    • 自動處理post請求引數
    • 簡化cookie和代理操作
    • ......
• 如何使用requests模組
  • 安裝：
    • pip install requests
  • 使用流程
    • 指定url
    • 基於requests模組發起請求
    • 獲取響應物件中的資料值
    • 持久化儲存
• 通過5個基於requests模組的爬蟲專案對該模組進行學習和鞏固
  • 基於requests模組的get請求
    • 需求：爬取搜狗指定詞條搜尋後的頁面資料
  • 基於requests模組的post請求
    • 需求：登入豆瓣電影，爬取登入成功後的頁面資料
  • 基於requests模組ajax的get請求
    • 需求：爬取豆瓣電影分類排行榜 https://movie.douban.com/中的電影詳情資料
  • 基於requests模組ajax的post請求
    • 需求：爬取肯德基餐廳查詢http://www.kfc.com.cn/kfccda/index.aspx中指定地點的餐廳資料
  • 綜合練習
    • 需求：爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關資料http://125.35.6.84:81/xk/

- 程式碼展示

• 需求：爬取搜狗指定詞條搜尋後的頁面資料

  import requests
  import os
  #指定搜尋關鍵字
  word = input('enter a word you want to search:')
  #自定義請求頭資訊 headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #指定url url = 'https://www.sogou.com/web' #封裝get請求引數 prams = { 'query':word, 'ie':'utf-8' } #發起請求 response = requests.get(url=url,params=param) #獲取響應資料 page_text = response.text with open('./sougou.html','w',encoding='utf-8') as fp: fp.write(page_text) 

  請求載體身份標識的偽裝：

  • User-Agent：請求載體身份標識，通過瀏覽器發起的請求，請求載體為瀏覽器，則該請求的User-Agent為瀏覽器的身份標識，使用爬蟲程式發起的請求，則該請求的載體為爬蟲程式，則該請求的User-Agent為爬蟲程式的身份標識。可以通過判斷該值來獲知該請求的載體究竟是基於哪款瀏覽器還是基於爬蟲程式。

  • 反爬機制：某些入口網站會對訪問該網站的請求中的User-Agent進行捕獲和判斷，如果該請求的UA為爬蟲程式，則拒絕向該請求提供資料。

  • 反反爬策略：將爬蟲程式的UA偽裝成某一款瀏覽器的身份標識。

• 需求：登入豆瓣電影，爬取登入成功後的頁面資料

  import requests
  import os
  url = 'https://accounts.douban.com/login'
  #封裝請求引數
  data = {
      "source": "movie", "redir": "https://movie.douban.com/", "form_email": "15027900535", "form_password": "[email protected]", "login": "登入", } #自定義請求頭資訊 headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } response = requests.post(url=url,data=data) page_text = response.text with open('./douban111.html','w',encoding='utf-8') as fp: fp.write(page_text)

需求：爬取豆瓣電影分類排行榜 https://movie.douban.com/中的電影詳情資料

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
import urllib.request
if __name__ == "__main__": #指定ajax-get請求的url（通過抓包進行獲取） url = 'https://movie.douban.com/j/chart/top_list?' #定製請求頭資訊，相關的頭資訊必須封裝在字典結構中 headers = { #定製請求頭中的User-Agent引數，當然也可以定製請求頭中其他的引數 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } #定製get請求攜帶的引數(從抓包工具中獲取) param = { 'type':'5', 'interval_id':'100:90', 'action':'', 'start':'0', 'limit':'20' } #發起get請求，獲取響應物件 response = requests.get(url=url,headers=headers,params=param) #獲取響應內容：響應內容為json串 print(response.text)

需求：爬取肯德基餐廳查詢http://www.kfc.com.cn/kfccda/index.aspx中指定地點的餐廳資料

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
import urllib.request
if __name__ == "__main__": #指定ajax-post請求的url（通過抓包進行獲取） url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword' #定製請求頭資訊，相關的頭資訊必須封裝在字典結構中 headers = { #定製請求頭中的User-Agent引數，當然也可以定製請求頭中其他的引數 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36', } #定製post請求攜帶的引數(從抓包工具中獲取) data = { 'cname':'', 'pid':'', 'keyword':'北京', 'pageIndex': '1', 'pageSize': '10' } #發起post請求，獲取響應物件 response = requests.get(url=url,headers=headers,data=data) #獲取響應內容：響應內容為json串 print(response.text)

• 需求：爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關資料

  import requests
  from fake_useragent import UserAgent
  
  ua = UserAgent(use_cache_server=False,verify_ssl=False).random headers = { 'User-Agent':ua } url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList' pageNum = 3 for page in range(3,5): data = { 'on': 'true', 'page': str(page), 'pageSize': '15', 'productName':'', 'conditionType': '1', 'applyname':'', 'applysn':'' } json_text = requests.post(url=url,data=data,headers=headers).json() all_id_list = [] for dict in json_text['list']: id = dict['ID']#用於二級頁面資料獲取 #下列詳情資訊可以在二級頁面中獲取 # name = dict['EPS_NAME'] # product = dict['PRODUCT_SN'] # man_name = dict['QF_MANAGER_NAME'] # d1 = dict['XC_DATE'] # d2 = dict['XK_DATE'] all_id_list.append(id) #該url是一個ajax的post請求 post_url = 'http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById' for id in all_id_list: post_data = { 'id':id } response = requests.post(url=post_url,data=post_data,headers=headers) #該請求響應回來的資料有兩個，一個是基於text，一個是基於json的，所以可以根據content-type,來獲取指定的響應資料 if response.headers['Content-Type'] == 'application/json;charset=UTF-8': #print(response.json()) #進行json解析 json_text = response.json() print(json_text['businessPerson'])

零、requests基於session處理

• session處理cookie
• proxies引數設定請求代理ip
• 基於執行緒池的資料爬取

知識點回顧

• xpath的解析流程
• bs4的解析流程
• 常用xpath表示式
• 常用bs4解析方法

引入

有些時候，我們在使用爬蟲程式去爬取一些使用者相關資訊的資料（爬取張三“人人網”個人主頁資料）時，如果使用之前requests模組常規操作時，往往達不到我們想要的目的，例如：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
if __name__ == "__main__": #張三人人網個人資訊頁面的url url = 'http://www.renren.com/289676607/profile' #偽裝UA headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } #傳送請求，獲取響應物件 response = requests.get(url=url,headers=headers) #將響應內容寫入檔案 with open('./renren.html','w',encoding='utf-8') as fp: fp.write(response.text)

一.基於requests模組的cookie操作

    - 結果發現，寫入到檔案中的資料，不是張三個人頁面的資料，而是人人網登陸的首頁面，why？首先我們來回顧下cookie的相關概念及作用：

　　　　- cookie概念：當用戶通過瀏覽器首次訪問一個域名時，訪問的web伺服器會給客戶端傳送資料，以保持web伺服器與客戶端之間的狀態保持，這些資料就是cookie。

　　　　- cookie作用：我們在瀏覽器中，經常涉及到資料的交換，比如你登入郵箱，登入一個頁面。我們經常會在此時設定30天內記住我，或者自動登入選項。那麼它們是怎麼記錄資訊的呢，答案就是今天的主角cookie了，Cookie是由HTTP伺服器設定的，儲存在瀏覽器中，但HTTP協議是一種無狀態協議，在資料交換完畢後，伺服器端和客戶端的連結就會關閉，每次交換資料都需要建立新的連結。就像我們去超市買東西，沒有積分卡的情況下，我們買完東西之後，超市沒有我們的任何消費資訊，但我們辦了積分卡之後，超市就有了我們的消費資訊。cookie就像是積分卡，可以儲存積分，商品就是我們的資訊，超市的系統就像伺服器後臺，http協議就是交易的過程。

- 經過cookie的相關介紹，其實你已經知道了為什麼上述案例中爬取到的不是張三個人資訊頁，而是登入頁面。那應該如何抓取到張三的個人資訊頁呢？

　　思路：

　　　　1.我們需要使用爬蟲程式對人人網的登入時的請求進行一次抓取，獲取請求中的cookie資料

　　　　2.在使用個人資訊頁的url進行請求時，該請求需要攜帶 1 中的cookie，只有攜帶了cookie後，伺服器才可識別這次請求的使用者資訊，方可響應回指定的使用者資訊頁資料

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
if __name__ == "__main__": #登入請求的url（通過抓包工具獲取） post_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201873958471' #建立一個session物件，該物件會自動將請求中的cookie進行儲存和攜帶 session = requests.session() #偽裝UA headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', } formdata = { 'email': '17701256561', 'icode': '', 'origURL': 'http://www.renren.com/home', 'domain': 'renren.com', 'key_id': '1', 'captcha_type': 'web_login', 'password': '7b456e6c3eb6615b2e122a2942ef3845da1f91e3de075179079a3b84952508e4', 'rkey': '44fd96c219c593f3c9612360c80310a3', 'f': 'https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dm7m_NSUp5Ri_ZrK5eNIpn_dMs48UAcvT-N_kmysWgYW%26wd%3D%26eqid%3Dba95daf5000065ce000000035b120219', } #使用session傳送請求，目的是為了將session儲存該次請求中的cookie session.post(url=post_url,data=formdata,headers=headers) get_url = 'http://www.renren.com/960481378/profile' #再次使用session進行請求的傳送，該次請求中已經攜帶了cookie response = session.get(url=get_url,headers=headers) #設定響應內容的編碼格式 response.encoding = 'utf-8' #將響應內容寫入檔案 with open('./renren.html','w') as fp: fp.write(response.text)

二.基於requests模組的代理操作

• 什麼是代理

  • 代理就是第三方代替本體處理相關事務。例如：生活中的代理：代購，中介，微商......

• 爬蟲中為什麼需要使用代理

  • 一些網站會有相應的反爬蟲措施，例如很多網站會檢測某一段時間某個IP的訪問次數，如果訪問頻率太快以至於看起來不像正常訪客，它可能就會會禁止這個IP的訪問。所以我們需要設定一些代理IP，每隔一段時間換一個代理IP，就算IP被禁止，依然可以換個IP繼續爬取。

• 代理的分類：

  • 正向代理：代理客戶端獲取資料。正向代理是為了保護客戶端防止被追究責任。

  • 反向代理：代理伺服器提供資料。反向代理是為了保護伺服器或負責負載均衡。

• 免費代理ip提供網站

  • http://www.goubanjia.com/

  • 西祠代理

  • 快代理

• 程式碼

  #!/usr/bin/env python
  # -*- coding:utf-8 -*-
  import requests
  import random
  if __name__ == "__main__": #不同瀏覽器的UA header_list = [ # 遨遊 {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"}, # 火狐 {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"}, # 谷歌 { "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"} ] #不同的代理IP proxy_list = [ {"http": "112.115.57.20:3128"}, {'http': '121.41.171.223:3128'} ] #隨機獲取UA和代理IP header = random.choice(header_list) proxy = random.choice(proxy_list) url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip' #引數3：設定代理 response = requests.get(url=url,headers=header,proxies=proxy) response.encoding = 'utf-8' with open('daili.html', 'wb') as fp: fp.write(response.content) #切換成原來的IP requests.get(url, proxies={"http": ""})

  

   

三.基於multiprocessing.dummy執行緒池的資料爬取

• 需求：爬取梨視訊的視訊資訊，並計算其爬取資料的耗時
  • 普通爬取

    %%time
    import requests
    import random
    from lxml import etree
    import re from fake_useragent import UserAgent #安裝fake-useragent庫:pip install fake-useragent url = 'http://www.pearvideo.com/category_1' #隨機產生UA,如果報錯則可以新增如下引數： #ua = UserAgent(verify_ssl=False,use_cache_server=False).random #禁用伺服器快取： #ua = UserAgent(use_cache_server=False) #不快取資料： #ua = UserAgent(cache=False) #忽略ssl驗證： #ua = UserAgent(verify_ssl=False) ua = UserAgent().random headers = { 'User-Agent':ua } #獲取首頁頁面資料 page_text = requests.get(url=url,headers=headers).text #對獲取的首頁頁面資料中的相關視訊詳情連結進行解析 tree = etree.HTML(page_text) li_list = tree.xpath('//div[@id="listvideoList"]/ul/li') detail_urls = [] for li in li_list: detail_url = 'http://www.pearvideo.com/'+li.xpath('./div/a/@href')[0] title = li.xpath('.//div[@class="vervideo-title"]/text()')[0] detail_urls.append(detail_url) for url in detail_urls: page_text = requests.get(url=url,headers=headers).text vedio_url = re.findall('srcUrl="(.*?)"',page_text,re.S)[0] data = requests.get(url=vedio_url,headers=headers).content fileName = str(random.randint(1,10000))+'.mp4' #隨機生成視訊檔名稱 with open(fileName,'wb') as fp: fp.write(data) print(fileName+' is over')

    

     

  • 基於執行緒池的爬取

    %%time
    import requests
    import random
    from lxml import etree
    import re from fake_useragent import UserAgent #安裝fake-useragent庫:pip install fake-useragent #匯入執行緒池模組 from multiprocessing.dummy import Pool #例項化執行緒池物件 pool = Pool() url = 'http://www.pearvideo.com/category_1' #隨機產生UA ua = UserAgent().random headers = { 'User-Agent':ua } #獲取首頁頁面資料 page_text = requests.get(url=url,headers=headers).text #對獲取的首頁頁面資料中的相關視訊詳情連結進行解析 tree = etree.HTML(page_text) li_list = tree.xpath('//div[@id="listvideoList"]/ul/li') detail_urls = []#儲存二級頁面的url for li in li_list: detail_url = 'http://www.pearvideo.com/'+li.xpath('./div/a/@href')[0] title = li.xpath('.//div[@class="vervideo-title"]/text()')[0] detail_urls.append(detail_url) vedio_urls = []#儲存視訊的url for url in detail_urls: page_text = requests.get(url=url,headers=headers).text vedio_url = re.findall('srcUrl="(.*?)"',page_text,re.S)[0] vedio_urls.append(vedio_url) #使用執行緒池進行視訊資料下載 func_request = lambda link:requests.get(url=link,headers=headers).content video_data_list = pool.map(func_request,vedio_urls) #使用執行緒池進行視訊資料儲存 func_saveData = lambda data:save(data) pool.map(func_saveData,video_data_list) def save(data): fileName = str(random.randint(1,10000))+'.mp4' with open(fileName,'wb') as fp: fp.write(data) print(fileName+'已儲存') pool.close() pool.join()