IP代理：

1. 抓取網上免費代理，測試
2. 代理供應商提供的代理（收費）
3. ADSL撥號，每次重新撥號會更換本地IP，但是會有1~3秒延遲
4. VPN/VPS 虛擬主機（翻牆爬取國外網站）
5. Tor網路（暗網） 洋蔥瀏覽器

自動生成user-agent

pip install fake_useragent
匯入:
from fake_useragent import UserAgent

ua_obj = UserAgent()
ua_obj.ie
ua_obj.chrome
ua_obj.random

1. 如果有重複圖片、檔案，儲存到本地只有一份，後續改名只能成功一次，後面再改名。

2. 用商品名稱做為圖片名儲存，如果圖片名裡有"/"，則儲存時會當作路徑結點使用。
   file_name = “Huawei Mate20 Pro 8GB/128GB 月光灰”
   if “/” in file_name:
   file_name.replace("/", “-”)

模擬登陸：

1. 直接傳送賬戶密碼的POST請求，記錄cookie，再發送其他頁面的請求
2. 先發送登入頁面的get請求，獲取登入引數，再發送登入的post請求，提交賬戶密碼和登入引數，並記錄cookie，再發送其他頁面的請求
3. 直接將cookies儲存在請求報頭裡，直接傳送附帶登入狀態的請求，獲取頁面。

Scrapyd遠端部署和執行爬蟲、停止爬蟲、監控爬蟲執行狀態

服務端:

1. 安裝客戶端和伺服器端的工具：
   埠: 6800
   客戶端：pip install scrapyd-client
   伺服器端：pip install scrapyd

2. 伺服器端開啟scrapyd服務（提供一個監聽6800埠的web）
   修改 default_scrapyd.conf

   配置檔案裡的 bind_address 為 0.0.0.0
   再開啟服務
   ubuntu: $ scrapyd

以下全部是客戶端的操作：

3. 修改scrapy專案的scrapy.cfg檔案，新增 配置名稱和url
   [deploy:scrapyd_Tencent3]
   url = http://192.168.37.80:6800

4. 將專案部署到指定scrapyd伺服器上（每次本地有任何變動，必須重新部署一次）
   scrapyd-deploy scrapyd_Tencent3 -p Tencent3

5. 啟動指定 scrapyd服務上的 指定專案的 指定爬蟲（會生成該爬蟲的jobid值，用於區分）
   curl http://192.168.37.80:6800/schedule.json

   -d project=Tencent3 -d spider=tencent_crawl

6. 停止指定 scrapyd服務上的 指定專案的 指定爬蟲
   curl http://192.168.37.80:6800/cancel.json -d project=Tencent3 -d job=jobid值

scrapyd-web