1. 程式人生 > >scrapy爬蟲框架windows下的安裝問題

scrapy爬蟲框架windows下的安裝問題

windows作業系統   python版本是3.6.0       通過Anaconda命令conda install scrapy安裝scrapy,安裝過程中沒有問題。   然後在命令列輸入命令準備新建專案時,輸入 scrapy startproject firstscrapy時出現了   from cryptography.hazmat.bindings._openssl import ffi, lib ImportError: DLL load failed: 作業系統無法執行 %1。 上面的錯誤。通過百度查到了兩種網友的解決方案:   1、用pip uninstall scrapy 和 conda remove scrapy 兩次解除安裝掉scrapy,然後再重新安裝 2、把c:/windows/system32 目錄下的 ssleay32.dll和libeay32.dll兩個檔案刪掉     之後再輸入命令列準備新建專案時,輸入scrapy startproject firstscrapy時出現了 from cryptography.hazmat.bindings._openssl im ImportError: DLL load failed: 找不到指定的程式問題 作業系統無法執行的問題確實解決了,但是openssl又找不到了   之後又重新去安裝了openssl,   1)下載openssl程式並安裝:  https://slproweb.com/products/Win32OpenSSL.html 注意下載   Win64 OpenSSL v1.0.2j Light 版本就可以了,其它版本可能也會出現問題,反正官網上下載的試過下面的方法就不行;   2)將openssl安裝路徑下的bin資料夾內的ssleay32.dll和libeay32.dll兩個檔案複製到C:\system32資料夾下,覆蓋原有的檔案;   3)在系統的環境變數中增加openssl下bin資料夾路徑,類似這樣:C:\OpenSSL-Win64\bin。   但是問題依然沒有解決:     輸入conda list   發現openssl的版本依然是1.1.1 說明新安裝的openssl並沒有覆蓋~~   之後打算將openssl刪除, conda remove openssl 但是刪除不了~~~ 輸入conda install openssl重新安裝也沒有用   之後又繼續去找方法 又有人說重新安裝各種最新的版本包 conda create -n scrapyenv scrapy -c conda-forge  
  可以看到,他說下列的包將會被更新,但是實際情況是並沒有更新 仍然停留在1.1.1 仍然報錯:找不到指定程式   最後按照官網的 這個命令 輸入後:   提示我openssl降級到1.0.2 可見之前的更新並沒有用,還是在1.1.1 之後按y確定繼續,並沒有怎麼抱希望的我,還是按照慣例的輸入conda list  發現openssl竟然真的降級到了1.0.2  

相關推薦

scrapy爬蟲框架windows安裝問題

windows作業系統   python版本是3.6.0       通過Anaconda命令conda install scrapy安裝scrapy,安裝過程中沒有問題。   然後在命令列輸

[Python爬蟲] 在Windows安裝PhantomJS和CasperJS及入門介紹(上)

支持 包括 load node webpage 函數 cas examples ctr 最近在使用Python爬取網頁內容時,總是遇到JS臨時加載、動態獲取網頁信息的困難。例如爬取CSDN下載資源評論、搜狐圖片中的“原圖”等,此時嘗試學習Phantomjs和

在linux和windows安裝python爬蟲框架scrapy

一、在linux下安裝 1)先下python,2.7版本的; 2)再下pip.py檔案,然後執行:sudopythonget-pip.py 3)執行命令: pip install scrapy 二、在windows下安裝 非常的麻煩... 1)先下python,2.7版本

WindowsScrapy爬蟲框架安裝

直接按照官網首頁的說明,執行以下命令: pip install scrapy 結果出錯,提示 Microsoft Visual C++ 9.0 is required 直接網上搜Microsoft Visual C++ 9.0 is required,

Windows安裝配置爬蟲工具Scrapy爬蟲環境

爬蟲工具Scrapy在Mac和Linux環境下都相對好裝,但是在Windows上總會碰到各種莫名其妙的問題。本文記錄下Scrapy在Window上的安裝過程。 本文是基於Python2.7及Windows 10安裝Scrapy及各種爬蟲相關庫。 下載安裝Sc

window7系統安裝scrapy爬蟲框架

uil 下載文件 爬蟲框架 系統 query nco uri wheel .com 本文是在python3.6環境下安裝的下面軟件,如果大家和我的python版本不一致,請在頁面選擇符合自己版本的軟件下載. 1.wheel pip install wheel 2.lx

Python之Scrapy爬蟲框架安裝及簡單使用

intern 原理 seda api release linux發行版 3.5 pic www 題記:早已聽聞python爬蟲框架的大名。近些天學習了下其中的Scrapy爬蟲框架,將自己理解的跟大家分享。有表述不當之處,望大神們斧正。 一、初窺Scrapy Scrapy是

windows安裝和使用scrapy

class sys enc imp log pos pip 測試命令 使用   首先,要確保已經正確安裝了python環境,並安裝了pip包   接著,打開cmd或者powershell ,輸入命令 pip install scrapy 。安裝完之後 運行scrapy性能測

Windows安裝scrapy

bsp 下載地址 使用 all body gpo org www python 第一步: 安裝pywin32 下載地址:https://sourceforge.net/projects/pywin32/files/pywin32/,下載對應版本的pywin32,直接雙擊安裝

Python3環境安裝Scrapy爬蟲框架過程

-o 每一個 evel base awl 列表 all field size Python3環境安裝Scrapy爬蟲框架過程 1. 安裝wheel pip install wheel 安裝檢查: 2. 安裝lxml pip install lxml-4.2.1-c

Scrapy爬蟲框架執行爬蟲的方法

python sta 方法 args setting crawler split req .cn   在使用Scrapy框架進行爬蟲時,執行爬蟲文件的方法是 scrapy crawl xxx ,其中 xxx 是爬蟲文件名。   但是,當我們在建立了多個文件時,使用上面的命令

Scrapy爬蟲框架安裝和使用

deep 使用 cts file pen ESS win .org all Scrapy是一個十分強大的爬蟲框架,依賴的庫比較多,至少需要依賴的庫有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平臺環境下,它所依賴的庫也各不相同,所以在安

Windows安裝配置Yaf框架的方法及創建典型合理的Demo目錄結構

get 擴展安裝 dem tool 架構 類庫 編譯器 image lib Yaf是一個C語言編寫的PHP框架,由鳥哥Laruence開發的高性能框架; Yaf官方文檔:http://www.laruence.com/manual/index.html windows下

windows 安裝python以及scrapy 環境

Scrapy入門教程  地址:https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html 1---安裝scrapy: 使用pip命令 pip install scrapy 驗證安裝:cmd輸入scra

安裝Scrapy爬蟲框架

1、Scrapy的安裝:pip install scrapy 遇到錯誤:  error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools" 解決方法:

怎樣解決安裝scrapy爬蟲框架失敗的問題(圖文教程)?

下面是我安裝scrapy成功的經歷,分享給大家: 安裝scrapy一般使用:pip install scrapy 是安裝不成功的,在安裝的過程中會報錯,本人的安裝過程中報錯的資訊如下: 1.第一個錯誤提示: 錯誤的原因:沒有安裝Twisted Failed

安裝及使用scrapy爬蟲框架

1、安裝命令:pip install scrapy mac電腦使用這個命令應該能直接安裝成功,但是windows系統和Ubuntu系統在使用安裝命令會抱一個錯誤 building ‘twisted.test.raiser’ extension error: M

scrapy爬蟲框架簡紹與安裝使用

Scrapy Scrapy是一個為了爬取網站資料,提取結構性資料而編寫的應用框架。 其可以應用在資料探勘,資訊處理或儲存歷史資料等一系列的程式中。 其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的, 也可以應用在獲取API所返回的資料(例如 Amazon Associates Web

windows安裝scrapy問題解決辦法

 Scrapy是爬蟲界大名鼎鼎的存在,在Linux下安裝非常順利,但是在Windows下確實非常多的問題發生,這裡記錄存在的各類問題以及如何解決。 1.   安裝Scrapy失敗      直接在windows下安裝scrapy大概率會是失敗的,主要原因是各類依賴包未必全部

Windows安裝Scrapy方法及常見安裝問題總結——Scrapy安裝教程

這幾天,很多朋友在群裡問Scrapy安裝的問題,其實問題方面都差不多,今天小編給大家整理一下Scrapy的安裝教程,希望日後其他的小夥伴在安裝的時候不再六神無主,具體的教程如下。 Scrapy是Python網路爬蟲的一個框架,十分好用,深得大家的青睞,其工作原理,在在此就不贅述了。 1、正