1. 程式人生 > 實用技巧 >scrapyd+gerapy的專案部署

scrapyd+gerapy的專案部署

scrapyd+gerapy的專案部署:

簡單學習,後續跟進完善

宣告:

   1)僅作為個人學習,如有冒犯,告知速刪!
   2)不想誤導,如有錯誤,不吝指教!

環境配置:

scrapyd下載:

  pip install scrapyd -i https://pypi.com/simple

scrapyd部署:

  scrapyd-deploy -p 專案名

注意:需要切換到專案的根目錄下執行

scrapyd遇到的問題:

  1. 'scrapyd-deploy' 不是內部或外部命令,也不是可執行的程式,

  2. 解決方法:

    1. 找到scrapyd-deploy檔案(Scripts資料夾下),這裡每個人配置的pip安裝路徑不同 ;

    2. 然後在這個資料夾內建立兩個檔案,scrapy.bat 和 scrapyd-deploy.bat (新建 txt 文字文件,然後更改字尾名為 .bat)

    3. 編輯scrapyd-deloy.bat:

      @echo off
      #python.exe路徑 scrapyd-deploy路徑
      C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
    4. scrapy.bat編輯:

      @echo off
      #python.exe路徑 scrapyd路徑
      C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意:上面路徑沒有分行,兩個路徑之間有空格!

    5. 儲存,新起cmd,執行scrapyd-deploy -h,出現以下資訊即成功:

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L <target> ]
      
      2 3 Deploy Scrapy project to Scrapyd server 4 5 Options: 6 -h, --help show this help message and exit 7 -p PROJECT, --project=PROJECT 8 the project name in the target 9 -v VERSION, --version=VERSION 10 the version to deploy. Defaults to current timestamp 11 -l, --list-targets list available targets 12 -a, --deploy-all-targets 13 deploy all targets 14 -d, --debug debug mode (do not remove build dir) 15 -L TARGET, --list-projects=TARGET 16 list available projects on TARGET 17 --egg=FILE use the given egg, instead of building it 18 --build-egg=FILE only build the egg, don't deploy it

  3. 執行部署命令後報錯:

    1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
    2  Packing version 1595062659
    3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
    4  Deploy failed: <urlopen error [WinError 10061] 由於目標計算機積極拒絕,無法連線。>
    5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory

  4. 解決方法:

    1. 先在一個cmd視窗執行scrapyd

    2. 然後再用另一個cmd視窗部署專案

gerapy安裝以及使用:

  pip install gerapy -i https://pypi.com/simple
使用:
  • 1.在本地建立空資料夾

  • 2.進入資料夾,建立專案(gerapy init)

  • 3.進入生成的gerapy檔案中

  • 4.對資料庫進行初始化(gerapy migrate)

  • 5.建立超級管理員(gerapy initadmin)---賬號密碼:admin

  • 6.執行:gerapy runserver

scrapyd+gerapy搭配使用的效果圖: