一、建立專案、spider，item以及配置setting

建立專案：scrapy startproject nitu

建立爬蟲：scrapy genspider -t basic nituwang nipic.com

寫個item：

# -*- coding: utf-8 -*-

import scrapy
class NituItem(scrapy.Item):
    url = scrapy.Field()

配置setting（重要！）：

1.首先開啟User-Agent（反爬蟲策略）：

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
 

2.ROBOTSTXT協議改為False（主要是為了順利獲取圖片）

3.開啟pipeline：

ITEM_PIPELINES = {
    'nitu.pipelines.NituPipeline': 300,
}

二、spider

（一）首先來分析暱圖網中的各個分層連結

找到這三個模組的連結比較簡單：

可以看出，只要找到a標籤下的三個href連結就行了，抓到的內容附在主網頁http://www.nipic.com後，例如http://www.nipic.com/media就可以進入這個模組的連結中，spider程式碼如下：

    #第一層連結
    def parse(self, response):
        Frist_url = response.xpath('//div[@class="newIndex-nav-condition fl"]/a/@href').extract()
        True_url = Frist_url[2:5]
        for i in range(len(True_url)):
            TrueTrue_url = "http://www.nipic.com/" + True_url[i]
            yield Request(url=TrueTrue_url,callback=self.next1)
 

（二）進入到第二層連結，如下圖：

同理，從審查元素中抓取連結：

spider程式碼如下：

#第二層連結
    def next1(self,response):
        Second_url = response.xpath('//dd[@class="menu-item-list clearfix"]//a/@href').extract()

        for m in range(len(Second_url)):
            Second_true_url = "http://www.nipic.com/" + Second_url[m]
            yield Request(url=Second_true_url,meta={'key':Second_true_url},callback=self.next2)
 

（三）進入到第二層連結之後，就直接出現了多頁存在圖片了，思路越來越清晰：

看到這裡，我們只需找到二層連結中的總頁數，由此建立一個函式：

    def next2(self,response):
        #查詢總頁數
        page_num = response.xpath('//div[@class="common-page-box mt10 align-center"]/a/@href').extract()
        page_true_num = page_num[-1].split('=')[-1]
        for n in range(1,int(page_true_num)+1):
            page_url = str(response.meta['key']) + "?page=" + str(n)
            yield Request(url=page_url,callback=self.next3)

（四）接下來就是查詢如何進入照片的第三層連結，以獲取清晰大圖：

二話不說，直接寫xpath來拿連結：

#第三層連結
    def next3(self,response):
        img_url = response.xpath('//li[@class="works-box mb17 fl"]/div[@class="search-works-info"]/a/@href').extract()
        for k in range(len(img_url)):
            yield Request(url=img_url[k],callback=self.next4)

（五）最後一部，成敗於此，進入到大圖的連結：

拿下：

 #獲取大圖的連結
    def next4(self,response):
        img_big_url = response.xpath('//div[@class="show-img-section overflow-hidden align-center"]/img/@src').extract()[0]
        item = NituItem()
        item['url'] = img_big_url
        yield item

三、PIPELINE：

使用urllib.request中的urlretrieve來下載圖片到本地當中

import urllib.request

class NituPipeline(object):
    def process_item(self, item, spider):
        filename = item["url"].split('/')[-1]
        file = "F:/python/python專案/nitu_img/" + filename
        urllib.request.urlretrieve(item["url"], filename=file)
        return item

四、執行爬蟲

scrapy crawl nituwang --nolog

結果如下：

高清無碼大圖得到。完活