Python爬蟲原理

前言

簡單來說互聯網是由一個個站點和網絡設備組成的大網，我們通過瀏覽器訪問站點，站點把HTML、JS、CSS代碼返回給瀏覽器，這些代碼經過瀏覽器解析、渲染，將豐富多彩的網頁呈現我們眼前；

一、爬蟲是什麽？

如果我們把互聯網比作一張大的蜘蛛網，數據便是存放於蜘蛛網的各個節點，而爬蟲就是一只小蜘蛛，

沿著網絡抓取自己的獵物（數據）爬蟲指的是：向網站發起請求，獲取資源後分析並提取有用數據的程序；

從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為，把站點返回的HTML代碼/JSON數據/二進制數據（圖片、視頻） 爬到本地，進而提取自己需要的數據，存放起來使用；

二、爬蟲的基本流程：

用戶獲取網絡數據的方式：

方式1：瀏覽器提交請求--->下載網頁代碼--->解析成頁面

方式2：模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放於數據庫或文件中

爬蟲要做的就是方式2；

1、發起請求

使用http庫向目標站點發起請求，即發送一個Request

Request包含：請求頭、請求體等

Request模塊缺陷：不能執行JS 和CSS 代碼

2、獲取響應內容

如果服務器能正常響應，則會得到一個Response

Response包含：html，json，圖片，視頻等

3、解析內容

解析html數據：正則表達式（RE模塊），第三方解析庫如Beautifulsoup，pyquery等

解析json數據：json模塊

解析二進制數據:以wb的方式寫入文件

4、保存數據

數據庫（MySQL，Mongdb、Redis）

文件file

三、http協議 請求與響應

Request：用戶將自己的信息通過瀏覽器（socket client）發送給服務器（socket server）

Response：服務器接收請求，分析用戶發來的請求信息，然後返回數據（返回的數據中可能包含其他鏈接，如：圖片，js，css等）

ps：瀏覽器在接收Response後，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求然後接收Response後，是要提取其中的有用數據。

四、 request

1、請求方式：

常見的請求方式：GET / POST

2、請求的URL

url全球統一資源定位符，用來定義互聯網上一個唯一的資源 例如：一張圖片、一個文件、一段視頻都可以用url唯一確定

url編碼

https://www.baidu.com/s?wd=圖片

圖片會被編碼（看示例代碼）

網頁的加載過程是：

加載一個網頁，通常都是先加載document文檔，

在解析document文檔的時候，遇到鏈接，則針對超鏈接發起下載圖片的請求

3、請求頭

User-agent：請求頭中如果沒有user-agent客戶端配置，服務端可能將你當做一個非法用戶host；

cookies：cookie用來保存登錄信息

註意： 一般做爬蟲都會加上請求頭

請求頭需要註意的參數：

（1）Referrer：訪問源至哪裏來（一些大型網站，會通過Referrer 做防盜鏈策略；所有爬蟲也要註意模擬）

（2）User-Agent:訪問的瀏覽器（要加上否則會被當成爬蟲程序）

（3）cookie：請求頭註意攜帶

4、請求體

請求體
    如果是get方式，請求體沒有內容 （get請求的請求體放在 url後面參數中，直接能看到）
    如果是post方式，請求體是format data

    ps：
    1、登錄窗口，文件上傳等，信息都會被附加到請求體內
    2、登錄，輸入錯誤的用戶名密碼，然後提交，就可以看到post，正確登錄後頁面通常會跳轉，無法捕捉到post

五、 響應Response

1、響應狀態碼

　　200：代表成功

　　301：代表跳轉

　　404：文件不存在

　　403：無權限訪問

　　502：服務器錯誤

2、respone header

響應頭需要註意的參數：

（1）Set-Cookie:BDSVRTM=0; path=/：可能有多個，是來告訴瀏覽器，把cookie保存下來

（2）Content-Location：服務端響應頭中包含Location返回瀏覽器之後，瀏覽器就會重新訪問另一個頁面

3、preview就是網頁源代碼

JSON數據

如網頁html，圖片

二進制數據等

六、總結

1、總結爬蟲流程：

爬取--->解析--->存儲

2、爬蟲所需工具：

請求庫：requests,selenium（可以驅動瀏覽器解析渲染CSS和JS，但有性能劣勢（有用沒用的網頁都會加載）；）
解析庫：正則，beautifulsoup，pyquery
存儲庫：文件，MySQL，Mongodb，Redis

3、爬獲Yestone網頁的圖片

最後送給大家點福利吧

函數封裝版

 1 ‘‘‘
 2 Created on 2018年5月24日
 3 
 4 @author: water
 5 ‘‘‘
 6 import re
 7 import requests
 8 import os
 9 # import urllib
10 import urllib.request as urllib
11 import time
12 
13 #要爬去的網頁初始地址
14 url = ‘http://www.yestone.com/search?categories=12&editorial=false&photo=1&race=asian&sort=5&query=&width=512&height=512&page={page}‘
15 url2 = ‘http://www.yestone.com/gallery/1526450273467?page={page}‘
16 #圖片保存路徑=獲取當前執行文件路徑+images
17 path_to_save_images = os.path.join(os.path.dirname(__file__), ‘images‘)
18 
19 #偽造請求頭部
20 headers={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36‘}#構造頭部
21 
22 if not os.path.exists(path_to_save_images):
23     #如果本地不存在images路徑就生成該文件夾
24     os.mkdir(path_to_save_images)
25 
26 pattern = r‘class="img-responsive".*?data-src="(.*?)" data-width=.*>‘
27 # image path = <img class="img-responsive" data-src="http://st3.cdn.yestone.com/thumbs/8565046/image/17793/177939012/api_thumb_450.jpg" data-width="450.0" data-height="300.0">
28 
29 from concurrent.futures import ThreadPoolExecutor
30 thread_pools = ThreadPoolExecutor(30)
31 
32 def start_scrapy_in_one_thread(url):
33     response = requests.get(url, headers=headers)
34     if response.status_code == 200:
35         html = response.text
36         image_urls=re.findall(pattern, html)  #re.S 把文本信息轉換成1行匹配
37         if image_urls:
38             for image_url in image_urls:
39                 print(image_url)
40                 filename = os.path.join(path_to_save_images, image_url.split(‘/‘)[-2]+‘.jpg‘)
41                 urllib.urlretrieve(image_url, filename)
42         else:
43             print(‘沒有找到下載圖片的URL‘)
44 if __name__ == ‘__main__‘:
45     for page in range(1, 2):
46         begin_time = time.time()
47         #單線程爬取照片
48         start_scrapy_in_one_thread(url.format(page=page))
49         end_time = time.time()
50         
51     print(‘總共使用時間%s秒‘%(end_time-begin_time))

並發版（如果一共需要爬30個圖片，開30個線程去做，花的時間就是 其中最慢那份的耗時時間）

 1 import re
 2 import requests
 3 import os
 4 # import urllib
 5 import urllib.request as urllib
 6 import time
 7 
 8 #要爬去的網頁初始地址
 9 url = ‘http://www.yestone.com/search?categories=12&editorial=false&photo=1&race=asian&sort=5&query=&width=512&height=512&page={page}‘
10 url2 = ‘http://www.yestone.com/gallery/1526450273467?page={page}‘
11 #圖片保存路徑=獲取當前執行文件路徑+images
12 path_to_save_images = os.path.join(os.path.dirname(__file__), ‘images‘)
13 
14 #偽造請求頭部
15 headers={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36‘}#構造頭部
16 
17 if not os.path.exists(path_to_save_images):
18     #如果本地不存在images路徑就生成該文件夾
19     os.mkdir(path_to_save_images)
20 
21 pattern = r‘class="img-responsive".*?data-src="(.*?)" data-width=.*>‘
22 # image path = <img class="img-responsive" data-src="http://st3.cdn.yestone.com/thumbs/8565046/image/17793/177939012/api_thumb_450.jpg" data-width="450.0" data-height="300.0">
23 
24 from concurrent.futures import ThreadPoolExecutor
25 thread_pools = ThreadPoolExecutor(30)
26 
27 
28 def start_scrapy_in_threadpool(url):
29     #創建1個程池中，容納線程個數為30個
30     response = requests.get(url, headers=headers)
31     if response.status_code == 200:
32         html = response.text
33         image_urls=re.findall(pattern, html)  #re.S 把文本信息轉換成1行匹配
34         if image_urls:
35             for image_url in image_urls:
36                 print(image_url)
37                 thread_pools.submit(get_pic, image_url)
38         else:
39             print(‘沒有找到下載圖片的URL‘)
40     else:
41         print(‘獲取頁面詳情失敗‘)
42 
43 def get_pic(image_url):
44     print(image_url)
45     filename = os.path.join(path_to_save_images, image_url.split(‘/‘)[-2]+‘.jpg‘)
46 #     if not os.path.isfile(filename):
47     urllib.urlretrieve(image_url, filename
48 
49 if __name__ == ‘__main__‘:
50     for page in range(1, 2):
51         begin_time = time.time()
52 #         用線程池來爬取照片
53 　　　　 start_scrapy_in_threadpool(url.format(page=page))
54         #thread_pools.submit(start_scrapy_in_threadpool, url.format(page=page))
55         end_time = time.time()
56         
57     print(‘總共使用時間%s秒‘%(end_time-begin_time))

涉及知識：多線程多進程

計算密集型任務：使用多進程，因為能Python有GIL，多進程可以利用上CPU多核優勢；

IO密集型任務：使用多線程，做IO切換節省任務執行時間（並發）

線程池

Python爬蟲原理