總的來說，scrapy框架中設定cookie有三種方式。

第一種：

setting檔案中設定cookie

當COOKIES_ENABLED是註釋的時候scrapy預設沒有開啟cookie

當COOKIES_ENABLED沒有註釋設定為False的時候scrapy預設使用了settings裡面的cookie

當COOKIES_ENABLED設定為True的時候scrapy就會把settings的cookie關掉，使用自定義cookie

所以當我使用settings的cookie的時候，又把COOKIES_ENABLED設定為True，scrapy就會把settings的cookie關閉，

而且我也沒使用自定義cookie，導致整個請求根本沒有cookie,導致獲取頁面失敗。

總結：

如果使用自定義cookie就把COOKIES_ENABLED設定為True

如果使用settings的cookie就把COOKIES_ENABLED設定為False

第二種：

middlewares中設定cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：

request.cookies={
'':'',

'':'',

}

等等。裡面的cookie內容要以鍵值對的形式存在。

第三種：

在spider爬蟲主檔案中，重寫start_request方法，在scrapy的Request函式的引數中傳遞cookies

                
    # 過載start_requests方法
    def start_requests(self):
        headers = {
                    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0"}
        # 指定cookies
        cookies = {
                    'uuid': '66a0f5e7546b4e068497.1542881406.1.0.0
 
',
                    '_lxsdk_cuid': '1673ae5bfd3c8-0ab24c91d32ccc8-143d7240-144000-1673ae5bfd4c8',
                    '__mta': '222746148.1542881402495.1542881402495.1542881402495.1',
                    'ci': '20',
                    'rvct': '20%2C92%2C282%2C281%2C1',
                    '_lx_utm': 'utm_source%3DBaidu%26utm_medium%3Dorganic',
                    '_lxsdk_s': '1674f401e2a-d02-c7d-438%7C%7C35'}
 
                # 再次請求到詳情頁，並且宣告回撥函式callback，dont_filter=True 不進行域名過濾，meta給回撥函式傳遞資料
        yield Request(detailUrl, headers=headers, cookies=cookies, callback=self.detail_parse, meta={'myItem': item},  dont_filter=True)

同時還要在setting中設定：

ROBOTSTXT_OBEY=False