Python3.7網路爬蟲學習----安裝Scrapy(Windows)
Scrapy是基於Twisted框架,用Python語言編寫的跨平臺開源網路爬蟲框架。Scrapy的應用程式也是是用Python進行開發的,目前支援Python 2.7及Python3.4+版本。
在任意系統下都可以用pip安裝Scrapy, 然而簡單的在shell裡(即cmd)用“pip install scrapy”會遇到很多問題導致安裝失敗,特別是在Windows系統上。因為一些最重要的拓展包不會被自動下載,需要預先下載並分別安裝好。下面介紹Windows系統使用Python3.7安裝Scrapy的過程:
1.升級pip
從官網下載Python2>=2.7.9或Python3>=3.4時都會自動下載pip不用另外下載,但是有時因為版本太低,需要輸入如下指令更新pip才能安裝scrapy:
python -m pip install --upgrade pip
【如果pip在剛開cmd時還是識別不到,應該到環境變數裡系統變數的PATH新增pip的路徑,即...Python37\Scripts】
2.安裝wheel
在cmd直接輸入:
pip install wheel
測試wheel是否安裝成功:
在cmd輸入“wheel”, 成功則輸出如下:
3. 下載安裝Lxml和Twisted
【注意】 1. Python3.7就下載"cp37-cp37m"; 2. 使用32位電腦的要選擇帶“-win32”的一項
下載完成後,在cmd裡cd進入兩個檔案所在的資料夾下,比如C:\Users\name\Downloads>
下面安裝Lxml:
在cmd中輸入
pip install C:\Users\name\Downloads\lxml-4.2.4-cp37-cp37m-win_amd64.whl
安裝完成,或者有的電腦已經安裝過的會顯示“Requirement already satisfied:...”
接著安裝Twisted:
在cmd中輸入
pip install C:\Users\name\Downloads\Twisted-18.7.0-cp37-cp37m-win_amd64.whl
安裝完成!
【注意】很多安裝指導要下載安裝pywin32 (下載點選這裡) ,不過到目前為止,Python3.7已經可以安裝Scrapy了,暫且跳過。
4. 安裝Scrapy
最後在cmd輸入:
pip install scrapy
安裝成功!
來測試一下, 如果安裝成功,在cmd輸入“scrapy” 則輸出
再到Python中看是否能成功匯入Scrapy模組:
完成!
相關推薦
Python3.7網路爬蟲學習----安裝Scrapy(Windows)
Scrapy是基於Twisted框架,用Python語言編寫的跨平臺開源網路爬蟲框架。Scrapy的應用程式也是是用Python進行開發的,目前支援Python 2.7及Python3.4+版本。 在任意系統下都可以用pip安裝Scrapy, 然而簡單的在shell裡(即c
Python3 大型網路爬蟲實戰 003 — scrapy 大型靜態圖片網站爬蟲專案實戰 — 實戰:爬取 169美女圖片網 高清圖片
開發環境 Python第三方庫:lxml、Twisted、pywin32、scrapy Python 版本:python-3.5.0-amd64 PyCharm軟體版本:pycharm-professional-2016.1.4 電腦系統:Wi
windows下python(網路爬蟲)的安裝
網路爬蟲python的安裝 C語言要寫1000行程式碼,Java只需要寫100行,而Python可能只要20行 前幾天一位小朋友問我Python怎麼安裝,其實以前我已經安裝過了,但是沒有實際去用過。這幾天就瞭解了一下Python。Python可以寫爬取各大網站的
Python3網路爬蟲:初識Scrapy爬蟲框架
Python版本:python3.+ 執行環境:Mac OS IDE:pycharm 一 前言 二 初識Scrapy 1 什麼是Scrapy 2 我能用S
Python3網路爬蟲工具安裝(Mac)
Python3網路爬蟲工具安裝(Mac) 以下都是基於 Python3 爬蟲:抓取頁面 -> 分析頁面 -> 儲存資料 請求庫的安裝 Homebrew 安裝 Mac下的包管理工具 /usr/bin/ruby -e "$(curl -fsSL
為編寫網路爬蟲程式安裝Python3.5
1. 下載Python3.5.1安裝包 1.1 進入python官網,點選menu->downloads,網址:Download Python 1.2 根據系統選擇32位還是64位,這裡下載的可執行exe為64位安裝包 2. 安裝Py
Windows環境下python3.7版本怎麽安裝pygame
python3.7 bubuko pypi tps version pytho rip 後綴 highlight 訪問此網址 下載對應Python版本的pygame,如下圖: 下載完成後,會有一個whl後綴的文件。 將此文件復制到Python根目錄下的sc
python3網絡爬蟲學習——基本庫的使用(1)
read 基本 類名 transport same 數字 cep 這一 服務器 最近入手學習Python3的網絡爬蟲開發方向,入手的教材是崔慶才的《python3網絡爬蟲開發實戰》,作為溫故所學的內容同時也是分享自己操作時的一些經驗與困惑,所以開了這個日記,也算是監督自己去
python3網絡爬蟲學習——基本庫的使用(3)
進行 程序 如果 www int control content cti expires 這一節我們主要講解處理異常 在我們發送請求的時候,有的時候可能網絡不好,出現了異常,程序因為報錯而終止運行,為此我們需要對其進行處理 urllib裏的error模塊定義了request
python3網絡爬蟲學習——使用requests(1)
返回 hub origin 存儲 python3 中文 json head flat reuqests庫中有很多便捷的方法,比如以GET方式獲得網頁,在requests庫中就是方法get(),上代碼 import requests r = requests.get(‘ht
python3.6。爬蟲學習入門筆記
爬蟲 前提知識: URL HTTP協議 web前端,html css js ajax re,Xpath XML 爬蟲的定義 百度上詳細的介紹 三大步驟:
Linux安裝Python3.7.1 (原始碼安裝)
1、下載 Python-3.7.1.tgz:在終端輸入命令:wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz 。 2、解壓: tar -xzvf Python-3.7.1.tgz。
Python網路爬蟲學習筆記——第一個爬蟲程式
執行環境 語言 Python3 第三方庫 pip install reqeusts pip install BeautifulSoup4 pip install jupyter 線上編輯器 安裝 jupyter 模組後,在cmd視窗中執行命令jupyte
Python3.7 + pyqt5 + pycharm學習筆記
一、環境安裝配置 1、安裝pycharm 2、安裝python3.7,注意要與作業系統位數一致(32位或64位) 3、管理員許可權開啟cmd安裝PyQt5: pip install pyqt5 4、管理員許可權開啟cmd安裝pyqt5-tools: pip
Python3.6網路爬蟲
第一部分 環境篇 1 Python3+Pip環境配置 2 MongoDB環境配置 3 Redis環境配置 4 MySQL環境配置 5 Python多版本共存配置 6 Python爬蟲常用庫的安裝 第二部分 基礎篇 7 爬蟲基本原理 8 Urllib庫基本使用 9 Requests庫基本使用
Pyhon網路爬蟲學習筆記—抓取本地網頁(一)
如何用Python爬取本地網頁 一、寫出一個簡單的靜態網頁,下面是我隨便寫的一個 網頁原始碼如下 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UT
python3.x之爬蟲學習
首先需要知道python3.x中urllib.request是用於開啟URL的可擴充套件庫。 一。 1.最簡單的爬蟲就是把整個網頁儲存到本地分為如下幾步: ①.訪問url ②.讀取網頁 ③.儲存網頁 實現程式碼: #encoding:UTF-8 from urllib.re
最新Python3.6網路爬蟲實戰案例基礎+實戰+框架+分散式完整版
課程簡介: 這是一套目前為止我覺得最適合小白學習的體系非常完整的Python爬蟲課程,使用的Python3.6的版本,用到anaconda來開發python程式,老師講解的很細緻, 課程體系設定的也非常棒,完全是從淺入深一點點講解,從Python爬蟲環境的安裝開始,講
python爬蟲學習筆記-scrapy框架之start_url
在使用命令列建立scrapy專案後,會發現在spider.py檔案內會生成這樣的程式碼: name = 'quotes' allowed_domains = ['quotes.toscrape.com'] start_urls = ['http://quotes.toscrape.com
教女朋友學python系列--手把手教你用Python3進行網路爬蟲
手把手教你用Python3進行網路爬蟲 2018/6/11 星期一 整理 執行的環境: win10 x64 安裝了anaconda3,基於Python3環境執行 使用Pycharm程式設計 1. 前期工作 安裝