1. 程式人生 > >Python3.7網路爬蟲學習----安裝Scrapy(Windows)

Python3.7網路爬蟲學習----安裝Scrapy(Windows)

Scrapy是基於Twisted框架,用Python語言編寫的跨平臺開源網路爬蟲框架。Scrapy的應用程式也是是用Python進行開發的,目前支援Python 2.7及Python3.4+版本。

在任意系統下都可以用pip安裝Scrapy, 然而簡單的在shell裡(即cmd)用“pip install scrapy”會遇到很多問題導致安裝失敗,特別是在Windows系統上。因為一些最重要的拓展包不會被自動下載,需要預先下載並分別安裝好。下面介紹Windows系統使用Python3.7安裝Scrapy的過程:

1.升級pip

從官網下載Python2>=2.7.9或Python3>=3.4時都會自動下載pip不用另外下載,但是有時因為版本太低,需要輸入如下指令更新pip才能安裝scrapy:

python -m pip install --upgrade pip

【如果pip在剛開cmd時還是識別不到,應該到環境變數裡系統變數的PATH新增pip的路徑,即...Python37\Scripts】 

2.安裝wheel

在cmd直接輸入:

pip install wheel

測試wheel是否安裝成功:

在cmd輸入“wheel”, 成功則輸出如下:

 3. 下載安裝Lxml和Twisted

【注意】 1. Python3.7就下載"cp37-cp37m"; 2. 使用32位電腦的要選擇帶“-win32”的一項

下載完成後,在cmd裡cd進入兩個檔案所在的資料夾下,比如C:\Users\name\Downloads>

下面安裝Lxml:

在cmd中輸入

pip install C:\Users\name\Downloads\lxml-4.2.4-cp37-cp37m-win_amd64.whl

安裝完成,或者有的電腦已經安裝過的會顯示“Requirement already satisfied:...”

接著安裝Twisted:

在cmd中輸入

pip install C:\Users\name\Downloads\Twisted-18.7.0-cp37-cp37m-win_amd64.whl

安裝完成!

【注意】很多安裝指導要下載安裝pywin32 (下載點選這裡) ,不過到目前為止,Python3.7已經可以安裝Scrapy了,暫且跳過。

4. 安裝Scrapy

最後在cmd輸入:

pip install scrapy

安裝成功!

來測試一下, 如果安裝成功,在cmd輸入“scrapy” 則輸出

再到Python中看是否能成功匯入Scrapy模組:

完成! 

相關推薦

Python3.7網路爬蟲學習----安裝Scrapy(Windows)

Scrapy是基於Twisted框架,用Python語言編寫的跨平臺開源網路爬蟲框架。Scrapy的應用程式也是是用Python進行開發的,目前支援Python 2.7及Python3.4+版本。 在任意系統下都可以用pip安裝Scrapy, 然而簡單的在shell裡(即c

Python3 大型網路爬蟲實戰 003 — scrapy 大型靜態圖片網站爬蟲專案實戰 — 實戰:爬取 169美女圖片網 高清圖片

開發環境 Python第三方庫:lxml、Twisted、pywin32、scrapy Python 版本:python-3.5.0-amd64 PyCharm軟體版本:pycharm-professional-2016.1.4 電腦系統:Wi

windows下python(網路爬蟲)的安裝

網路爬蟲python的安裝 C語言要寫1000行程式碼,Java只需要寫100行,而Python可能只要20行 前幾天一位小朋友問我Python怎麼安裝,其實以前我已經安裝過了,但是沒有實際去用過。這幾天就瞭解了一下Python。Python可以寫爬取各大網站的

Python3網路爬蟲:初識Scrapy爬蟲框架

Python版本:python3.+ 執行環境:Mac OS IDE:pycharm 一 前言 二 初識Scrapy 1 什麼是Scrapy 2 我能用S

Python3網路爬蟲工具安裝(Mac)

Python3網路爬蟲工具安裝(Mac) 以下都是基於 Python3 爬蟲:抓取頁面 -> 分析頁面 -> 儲存資料 請求庫的安裝 Homebrew 安裝 Mac下的包管理工具 /usr/bin/ruby -e "$(curl -fsSL

為編寫網路爬蟲程式安裝Python3.5

1. 下載Python3.5.1安裝包 1.1 進入python官網,點選menu->downloads,網址:Download Python 1.2 根據系統選擇32位還是64位,這裡下載的可執行exe為64位安裝包 2. 安裝Py

Windows環境下python3.7版本怎麽安裝pygame

python3.7 bubuko pypi tps version pytho rip 後綴 highlight 訪問此網址 下載對應Python版本的pygame,如下圖: 下載完成後,會有一個whl後綴的文件。 將此文件復制到Python根目錄下的sc

python3網絡爬蟲學習——基本庫的使用(1)

read 基本 類名 transport same 數字 cep 這一 服務器 最近入手學習Python3的網絡爬蟲開發方向,入手的教材是崔慶才的《python3網絡爬蟲開發實戰》,作為溫故所學的內容同時也是分享自己操作時的一些經驗與困惑,所以開了這個日記,也算是監督自己去

python3網絡爬蟲學習——基本庫的使用(3)

進行 程序 如果 www int control content cti expires 這一節我們主要講解處理異常 在我們發送請求的時候,有的時候可能網絡不好,出現了異常,程序因為報錯而終止運行,為此我們需要對其進行處理 urllib裏的error模塊定義了request

python3網絡爬蟲學習——使用requests(1)

返回 hub origin 存儲 python3 中文 json head flat reuqests庫中有很多便捷的方法,比如以GET方式獲得網頁,在requests庫中就是方法get(),上代碼 import requests r = requests.get(‘ht

python3.6。爬蟲學習入門筆記

爬蟲 前提知識: URL HTTP協議 web前端,html css js ajax re,Xpath XML 爬蟲的定義 百度上詳細的介紹 三大步驟:

Linux安裝Python3.7.1 (原始碼安裝

1、下載 Python-3.7.1.tgz:在終端輸入命令:wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 。 2、解壓: tar -xzvf Python-3.7.1.tgz。

Python網路爬蟲學習筆記——第一個爬蟲程式

執行環境 語言 Python3 第三方庫 pip install reqeusts pip install BeautifulSoup4 pip install jupyter 線上編輯器 安裝 jupyter 模組後,在cmd視窗中執行命令jupyte

Python3.7 + pyqt5 + pycharm學習筆記

一、環境安裝配置 1、安裝pycharm 2、安裝python3.7,注意要與作業系統位數一致(32位或64位) 3、管理員許可權開啟cmd安裝PyQt5: pip install pyqt5 4、管理員許可權開啟cmd安裝pyqt5-tools: pip

Python3.6網路爬蟲

第一部分 環境篇 1 Python3+Pip環境配置 2 MongoDB環境配置 3 Redis環境配置 4 MySQL環境配置 5 Python多版本共存配置 6 Python爬蟲常用庫的安裝 第二部分 基礎篇 7 爬蟲基本原理 8 Urllib庫基本使用 9 Requests庫基本使用

Pyhon網路爬蟲學習筆記—抓取本地網頁(一)

如何用Python爬取本地網頁   一、寫出一個簡單的靜態網頁,下面是我隨便寫的一個 網頁原始碼如下 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT

python3.x之爬蟲學習

首先需要知道python3.x中urllib.request是用於開啟URL的可擴充套件庫。 一。 1.最簡單的爬蟲就是把整個網頁儲存到本地分為如下幾步: ①.訪問url ②.讀取網頁 ③.儲存網頁 實現程式碼: #encoding:UTF-8 from urllib.re

最新Python3.6網路爬蟲實戰案例基礎+實戰+框架+分散式完整版

課程簡介:     這是一套目前為止我覺得最適合小白學習的體系非常完整的Python爬蟲課程,使用的Python3.6的版本,用到anaconda來開發python程式,老師講解的很細緻, 課程體系設定的也非常棒,完全是從淺入深一點點講解,從Python爬蟲環境的安裝開始,講

python爬蟲學習筆記-scrapy框架之start_url

在使用命令列建立scrapy專案後,會發現在spider.py檔案內會生成這樣的程式碼: name = 'quotes' allowed_domains = ['quotes.toscrape.com'] start_urls = ['http://quotes.toscrape.com

教女朋友學python系列--手把手教你用Python3進行網路爬蟲

手把手教你用Python3進行網路爬蟲 2018/6/11 星期一 整理 執行的環境: win10 x64 安裝了anaconda3,基於Python3環境執行 使用Pycharm程式設計 1. 前期工作 安裝