通過Python編寫爬蟲，批量爬取妹紙圖片，本文的爬蟲實現爬取妹子圖網站（http://www.mzitu.com/zipai/）中妹子自拍欄目中所有妹子的圖片。

開啟自拍欄目地址http://www.mzitu.com/zipai/後，我們發現當前頁面預設展示的是最後一頁，一共297頁，那麼要想把所有的自拍頁面的圖都爬下來，首先要獲取總的頁面數，通過分析頁面原始碼（如下圖）：

，我們發現頁面總數是在class為page-numbers current的span中，這樣我們就可以通過正則表達匹配出來：

#匹配規則
num_pat="<span class='page-numbers current'>(.+?)</span>"
 

經測試我們發現頁面地址中#comments可以不要，由此我們得到自拍頁面的每一頁的url地址為：

#i為頁數，則第i頁的頁面地址為：
page_url="http://www.mzitu.com/zipai/comment-page-"+str(i)

3.最後我們需要獲取每一頁中所有的妹子圖地址，分析頁面原始碼：

通過分析我們發現妹子圖片的地址都是在p標籤的img中，因此我們可以通過正則表達取出頁面地址：

#匹配規則
img_pat='<p><img src="(.+?)"'

4.獲取到圖片地址後，我們可以通過urllib.request.urlretrieve將圖片下載到本地，下面附上完整的程式碼。

完整程式碼

# -*- coding: utf-8 -*-

import urllib.request
import re

#開啟網頁，獲取網頁內容
def url_open(url):
    headers=("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0")
    opener=urllib.request.build_opener()
    opener.addheaders=[headers]
    urllib.request.install_opener(opener)
    data=urllib.request.urlopen(url).read().decode('utf-8'
 
,'ignore')
    return data

#獲取自拍欄目總的頁面數
def get_num(url):
    data=url_open(url)
    #頁面原始碼中通過正則表達匹配出總的頁碼數
    pat="<span class='page-numbers current'>(.+?)</span>"
    num=re.compile(pat).findall(data)[0]
    return num

if __name__=='__main__':
    try:
        #爬取的起始頁面地址
        url='http://www.mzitu.com/zipai/'
        num=get_num(url)
        for i in range(1,int(num)+1):
            #自拍欄目每一頁頁面的地址
            page_url='http://www.mzitu.com/zipai/comment-page-'+str(i)
            #自拍欄目每一頁中，通過正則表達匹配出圖片地址
            img_pat='<p><img src="(.+?)"'
            data=url_open(page_url)
            img_list=re.compile(img_pat).findall(data)
            #依次遍歷出每一頁獲取到的圖片地址，並將圖片下載到本地
            for j in range(len(img_list)):
                img_url=img_list[j]
                img="F:/test/meizhi/meizi_"+str(i)+str(j)+".jpg"
                print("正在下載第"+str(i)+"頁，第"+str(j)+"個圖片")
                urllib.request.urlretrieve(img_url,img)
                print("第"+str(i)+str(j)+"個圖片下載完成")
            #urlcleanup()清理使用urlretrieve產生的快取
            urllib.request.urlcleanup()
    except Exception as e:
        print(e)

爬取結果：