CentOS7中安裝Scrapy以及常用的包
阿新 • • 發佈:2019-02-08
Scrapy是基於Python寫的。本來是要安裝Python的,但是現在Linux基本都預設安裝到Python了,所以這步略過。
我本地是Ubuntu,伺服器我裝了CentOS7.2。別問我為啥不用Debian,我瞎選的,沒啥特別理由。
自己私人使用,為了方便,直接是root開幹。
安裝pip包管理
yum install -y python-pip
我覺得這是天朝必備的一個步驟,否則安裝軟體那龜速不忍直視。
mkdir ~/.pip vim ~/.pip/pip.conf # 改為如下內容 [global] index-url = http://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com
安裝編譯器和開發庫之類的,假如你們也沒安裝的話
yum -y install gcc gcc-c++ kernel-devel python-devel libxslt-devel libffi-devel openssl-devel
安裝主角Scrapy
pip install scrapy
安裝MySQL-python
Python連線MySQL的模組
easy_install MySQL-python
如果遇到mysql_config not found
之前的博文有提過這個錯誤,不過是在Ubuntu下的解決方案-安裝libmysqlclient-dev
然而在CentOS的源中並沒有這個包。而安裝mysql-devel
yum install -y mysql-devel
安裝MySQL
資料庫 yum groupinstall mariadb mariadb-client
MariaDB其實可以看做MySQL新版吧,具體緣由自行百度。
安裝redis
NoSQL資料庫
會用到配合bloomfilter做url去重。
yum install -y redis
安裝 BloomFilter
模組
pip install bloomfilter