Python網路爬蟲與資訊提取-Day5-Requests庫網路爬取實戰
一、京東商品頁面的爬取
先選取一個商品頁面直接利用之前的程式碼框架即可
import requests
url = "https://item.jd.com/12186192.html"
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print("爬取失敗")二、亞馬遜商品頁面的爬取
選取一個亞馬遜商品頁面，例如：
https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5
>>> import requests
>>>requests.get("https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5")
>>> r.status_code
503
狀態碼是503，說明訪問失敗
>>> r.encoding
'ISO-8859-1'
>>> r.encoding = r.apparent_encoding
>>> r.text
'<!--\n To discuss automated access to Amazon data please contact [email protected]\n For information about migrating to our APIs refer to our Marketplace APIs at https://developer.amazonservices.com.cn/index.html/ref=rm_5_sv,
or our Product Advertising API at https://associates.amazon.cn/gp/advertising/api/detail/main.html/ref=rm_5_ac for advertising use cases.\n-->\n<html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><title>亞馬遜
我們可以看到“意外錯誤”這樣的內容
很多網站對網路爬蟲有限制
通過判斷對網站訪問的HTTP的頭來檢視你的訪問時不時有一個爬展引起的，網站一般接受的是由瀏覽器引發的或產生的HTTP請求，而對於爬蟲的請求，網站是可以拒絕的.
requests庫的Response物件包含requests請求，可以通過r.requests.headers來檢視我們發給亞馬遜的requests資訊的頭部到底是什麼內容
>>> r.request.headers
{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
'User-Agent': 'python-requests/2.18.4'
這說明我們的爬蟲忠實地告訴了亞馬遜的伺服器，這次的訪問是由一個python程式的requests庫產生的.如果亞馬遜提供了這樣的來源審查，它就可以使這樣的訪問變得錯誤，或者說它不支援這樣的訪問.
我們可以更改頭部資訊.
我們來試試讓我們的程式模擬一個瀏覽器向亞馬遜傳送一個請求.
>>> kv = {'user-agent':'Mozilla/5.0'}
>>> url =
"https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5"
>>> r = requests.get(url, headers = kv)
>>> r.status_code
200
>>> r.request.headers
{'user-agent': 'Mozilla/5.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
>>> r.text[:1000]
'\n\n\n\n\n\n \n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo">\n <head>\n<script type="text/javascript">var ue_t0=ue_t0||+new Date();</script>\n<script type="text/javascript">\nvar ue_hob=+new Date();\nvar ue_id=\'QYTRWQ5TQ6BK5T88NYGK\',\nue_csm = window,\nue_err_chan = \'jserr-rw\',\nue = {};\n(function(d){var e=d.ue=d.ue||{},f=Date.now||function(){return+new Date};e.d=function(b){return f()-(b?0:d.ue_t0)};e.stub=function(b,a){if(!b[a]){var c=[];b[a]=function(){c.push([c.slice.call(arguments),e.d(),d.ue_id])};b[a].replay=function(b){for(var a;a=c.shift();)b(a[0],a[1],a[2])};b[a].isStub=1}};e.exec=function(b,a){return function(){if(1==window.ueinit)try{return b.apply(this,arguments)}catch(c){ueLogError(c,{attribution:a||"undefined",logLevel:"WARN"})}}}})(ue_csm);\n\nue.stub(ue,"log");ue.stub(ue,"onunload");ue.stub(ue,"onflush");\n\n(function(d,e){function h(f,b){if(!(a.ec>a.mxe)&&f){a.ter.push(f'
>>>
我們重新定義了一個鍵值對使得'user-agent'為'Mozilla/5.0'說明的是這時候的user-agent是一個瀏覽器
對自己的資料保護比較好的網站通過這種方式也能獲取資訊
import requests
url = "https://www.amazon.cn/Python%E7%88%AC%E8%99%AB%E5%BC%80%E5%8F%91%E4%B8%8E%E9%A1%B9%E7%9B%AE%E5%AE%9E%E6%88%98-%E8%8C%83%E4%BC%A0%E8%BE%89/dp/B071WMZ43K/ref=pd_sim_14_8?ie=UTF8&psc=1&refRID=FS952H52P44DZCC679D5"
try:
kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url, headers = kv)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print("爬取失敗")三、百度搜索關鍵字提交
用程式向搜尋引擎自動地提交個關鍵詞並獲得它的搜尋結果
對關鍵詞的搜尋提供了一個介面
百度的關鍵詞介面：
http://www.baidu.com/s?wd=keyword
構造一個url連結，包含我們要搜尋的關鍵詞
引數paras，它可以向url中增加相關的內容
從返回的資訊中解析百度返回的連結與返回的內容
獲取關鍵詞的頁面
import requests
keyword = "Python"
try:
kv = {'wd':keyword}
r = requests.get("http://www.baidu.com/s", params=kv)
print(r.requests.url)
r.raise_for_status()
print(len(r.text))
except:
print("爬取失敗")四、網路圖片的爬取和儲存
網路圖片連結的格式：http://www.example.com/picture.jpg
import requests
import os
url = "http://image.nationalgeographic.com.cn/2017/0822/20170822095949354.jpg"
root = "D://pics//"
path = root + url.split('/')[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(root):
r = requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close()
print("檔案儲存成功")
else:
print("檔案已存在")
except:
print("爬取失敗")五、IP地址歸屬地的自動查詢
想要判斷一個網址的歸屬地必須有一個庫，程式並沒有這樣的庫，在網上找相關的資源.事實上一個叫ip138的網站提供這樣的功能
import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
r = requests.get(url+'202.204.80.112')
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[-500:])
except:
print("爬取失敗")有的時候在網站上看到的人機互動方式，比如說圖形的、文字框的、需要點選按鈕的，這種方式，在正式的向後臺伺服器提交的時候其實都是以連結的形式來提交的.
只要能夠通過瀏覽器的解析知道向後臺提交的連結形式，就可以用python程式碼模擬，或者用python程式向後臺做正式的提交，不需要人來做這樣的事情.
所以需要向網站作自動的提交的時候，去挖掘一下這個網站後臺的API是什麼.