python爬蟲—使用scrapy爬蟲框架
問題1.使用scrapy框架,使用命令提示符pip命令下載scrapy後,卻無法使用scrapy命令,出現scrapy不是內部或外部命令。也不是可運行的程序
解決:一開始,我是把python安裝在D:\python,安裝了scrapy後他默認都會裝在此路徑下,然後scrapy在路徑D:\python\Scripts路徑下,而創建工程也只能在此目錄下。
如果想讓他在dos下想要命令運行成功的話,就的需要知道他在那裏,那麽這又得學習到環境變量path的作用。所以這就得在path上添加scrapy的地址
具體操作:開始>控制面板>系統>高級系統設置>環境變量>系統變量>path>在v那一欄添加包含scrapy路徑的所有主從地址(註意在原地址最後加;所有;均為英文;)我的就是添加D:\python\;D:\python\Scripts;D:\python\Lib\site--packages\OpenSSL
完美解決
問題2:上述問題解決後,運行scrapy爬蟲程序,結果出現import: no module named win32api
解決:Python是沒有自帶訪問windows系統API的庫的,需要下載。庫的名稱叫pywin32,可以從網上直接下載。
以下鏈接地址可以下載:http://sourceforge.net/projects/pywin32/files%2Fpywin32/ (下載適合你的python版本)
運行以下代碼如果出現ImportError: No module named win32api 或者出現 ImportError: No module named win32con,說明你的庫沒有安裝好。
介紹這個庫裏面最重要的兩個模塊:win32api和win32con,另外一種較簡單的是使用pip命令,下載win32。
**具體操作:運行命令安裝模塊: pip install pypiwin32
然後運行程序,完美解決。。。
以上是今天學習python爬蟲scrapy時遇到的2個大問題,在網上搜索了很多解決辦法,在實際操作過程中,以上兩個解決辦法成功解決,程序也成功運行
python爬蟲—使用scrapy爬蟲框架