技術標籤：python爬蟲python

最近安裝的包需要的版本經常不同，因此記錄有關虛擬環境的設定和使用。使用的是anaconda環境

1. 使用虛擬環境

在cmd中輸入：檢視已有的虛擬環境列表：

conda env list

輸出如下：

• 檢視所有環境： conda info -e
• 建立：conda create --name 環境名稱 python=3.8
• 啟用：conda activate 環境名稱
• 退出：deactivate
• 刪除：conda remove -n 環境名稱 --all
• 使用映象：指定下載映象
  pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyecharts

2.虛擬環境使用 notebook ：

在虛擬環境下輸入：

conda install nb_conda

conda env list 檢視目前已經有的虛擬環境

3.虛擬環境使用 jupyter lab：

在base環境下先安裝:

conda install nb_conda_kernels

source activate 環境名稱

conda install ipykernel

python -m ipykernel install --user --name 環境名稱 --display-name "環境名稱"

4.虛擬環境使用 Spyder：

1.進入虛擬環境:

conda activate 環境名稱

2.在虛擬環境下安裝Spyder

conda install spyder

附：安裝pyspider的問題解決方法

在安裝pyspider出現了很多問題，因此在這裡記錄解決所使用的版本以及解決方案，並附上原部落格的來源。

1.安裝庫和版本分別為：

1.【tornado】–4.5.3
2.【pyspider】–0.3.10
3.【redis】
4.【phantomjs】

需要把phantomjs.exe與python.exe放在同一個路徑下，並且把D:\ProgramData\Anaconda3\phantomjs-2.1.1-windows\bin 新增到環境變數

2.pyspider all 報錯解決方法：

2.1出現報錯：syntaxError:invalid syntax：

解決方法引用： https://blog.csdn.net/BigData_Mining/article/details/106008896

原因：python3.7以上版本，出現佔用關鍵字的問題

• 修改三個檔案的關鍵字async 替換為為async_

1、\Python\Lib\site-packages\pyspider\run.py

2、\Python\Lib\site-packages\pyspider\fetcher\tornado_fetcher.py

3、\Lib\site-packages\pyspider\webui\app.py

注意：只替換名為async 的變數或引數名。不要圖省事選擇“全部替換”

2.2只是出現結果的前兩行

解決方法引用：https://blog.csdn.net/qq_35167821/article/details/89162394

d:\program files\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout is not supported on your platform.
  warnings.warn("timeout is not supported on your platform.", FutureWarning)
[I 190409 20:28:52 result_worker:49] result_worker starting...

安裝phantomjs

• 下載地址：https://phantomjs.org/download.html

並且將phantomjs.exe放在python.exe同一檔案目錄下

還要注意將D:\Software\phantomjs-2.1.1-windows\bin新增到環境變數中

2.3 pyspider只出現兩行內容

解決方法引用：https://blog.csdn.net/qq_35167821/article/details/89162394

具體操作：

pip install redis

2.4 importerror：cannot import name ‘DispatcherMiddleware’ from ‘werkzeug.wsgi’

ImportError: cannot import name 'DispatcherMiddleware' from 'werkzeug.wsgi'

解決修改版本問題：

解決方法引用：https://blog.csdn.net/lang_niu/article/details/104501473

python -m pip install werkzeug==2.4.1     #安裝2.4.1版本
python -m pip  uninstall werkzeug # 解除安裝
python -m pip install werkzeug==0.16.1   #安裝0.16.1版本