1，先在settings中把ROBOTSTXT_OBEY = False

在主目錄下面新建main檔案

__autor__ = 'zhouli'
__date__ = '2018/11/3 22:39'

from scrapy.cmdline import execute  # 可以執行scrapy的指令碼
import sys
import os

sys.path.append(
    os.path.dirname(os.path.abspath(__file__)))  # os.path.abspath(__file__)獲取到main.py的路徑，os.path.dirname()獲取到父目錄
 

execute(['scrapy', 'crawl', 'project_name'])  # 該方法是講命令的三個字元傳遞進來

也就是說需要除錯什麼命令就這樣傳輸即可

單擊滑鼠右鍵debug

2，虛擬環境

安裝 pip install -i http://pypi.douban.com/simple/ virtualenv （這個是使用豆瓣源安裝）

測試安裝  virtualenv --version

讓虛擬的python環境可以使用系統的python第三方庫 virtualenv --always-copy --system-site-packages venv

cd my_project
virtualenv my_project_env

 讓我們從頭捋一遍：

# 1，新建虛擬環境
virtualenv scrapytest
# 2，進入虛擬環境
cd  scrapytest
cs Scripts
activate.bat  # 執行這個activate.bat檔案即可進入虛擬環境（前面有括號的）
deactivate.bat  # 退出虛擬環境（前面括號消失）
# 如何選擇python版本？
virtualenv -p C:\\***  # -p後面是python的路徑

當需要改變python的版本時候需要在虛擬環境下

但是比較蛋疼的是每一次都需要找到路徑，然後執行命令，比較繁瑣，如何解決呢？

虛擬環境管理包：

pip install virtualenvwrapper
# 安裝完成之後使用workon
workon # 列出所有虛擬環境
mkvirtualenv py3scrapy # 新建一個虛擬環境py3scrapy，然後自動進入虛擬環境
# 注意預設位置
workon py3scrapy # 進入虛擬環境py3scrapy

這樣就能夠保證環境是獨立的