安裝python3+pip3+scrapy+redis匯出資料
如果刪除了系統上自帶的python, 這裡我把一個python檔案刪除了.
這裡只需要設定一個軟連線就好了
bin] ln -s /usr/bin/python2.6 /usr/bin/python
Linux會自帶一個Python2的版本, 我的伺服器自帶的是Python2.6.6的版本,這並不影響再次安裝一個新的版本.
我使用的是wget網路傳輸方式下載的Python安裝包.下面是安裝過程:
安裝包的解壓路徑在 /opt/local
安裝包的路徑在 /opt/local/installpackage
1.下載
installpackage]# wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz
2.解壓
local]# tar -zxf installpackage/Python-3.6.4.tgz
local]# cd Python-3.6.4.tgz
Python-3.6.4.tgz]# ll
3.配置
Python-3.6.4.tgz]# ./configure --prefix=/usr/bin/python3.6.4
系統預設的python路徑就在/usr/bin目錄下面, 可以看到python. python2 -> python, python2.6 幾個關於python的東西
4.安裝
Python-3.6.4.tgz]# make Python-3.6.4.tgz]# make install
安裝完成之後可以跳到安裝目錄下面看看
cd /usr/bin/python3.6.4
下面有bin lib 等幾個目錄, 到bin目錄下可以看到一個python3 的二進位制編碼檔案, 之後會用到
5.配置軟連線(python2 -> python 就是軟連線, 我們也需要配製成這樣)
Python-3.6.4.tgz]# ln -s /usr/bin/python3.6.4/bin/python3 /usr/bin/python3
/usr/bin/python3.6.4/bin/python3這個是你安裝的python所在的路徑, 安裝路徑在第三步驟
python3
檢視是否安裝成功
6.配置pip
跳轉到cd /usr/bin/python3.6.4/bin
bin]# ls
2to3 2to3-3.6 easy_install-3.6 idle3 idle3.6 pip3 pip3.6 pydoc3 pydoc3.6 python3 python3.6 python3.6-config python3.6m python3.6m-config python3-config pyvenv pyvenv-3.6
可以看到裡面有pip3.和pip3.6,
設定pip3的軟連線
bin]# cp pip3 /usr/bin
bin]# cp pip3.6 /usr/bin
pip3
檢視pip是否配置成功
------------------------------------------------------------------------------------------------------------------------------------------------------------------
接下來安裝scrapy
pip3 install scrapy
安裝完成後,用import scrapy檢視是否安裝完成
最後建立軟連線
ln -s /usr/bin/python3.6.4/bin/scrapy /usr/bin/scrapy
沒有建立的話會報錯-bash: scrapy: command not found
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
安裝和使用方法文件上寫了,如果安裝完成找不到rdb命令的話,直接在安裝目錄下執行也可以:
pip install rdbtools python-lzf
rdb -c memory /usr/local/dump.rdb > result.csv
database | type | key | size_in_bytes | encoding | num_elements | len_largest_element |
---|---|---|---|---|---|---|
0 | string | "cccc" | 98 | string | 4 | 4 |
0 | string | "bbb" | 96 | string | 3 | 3 |
0 | hash | "user" | 102 | ziplist | 1 | 6 |
0 | string | "aa" | 94 | string | 2 | 2 |
結果列中的sizeinbytes就是你要的大小,匯出後自己排下序就可以了。另外,注意修改你自己dump.rdb的檔案路徑。對於資料量太大的情況我沒測試過,分析估計會比較慢。
相關推薦
安裝python3+pip3+scrapy+redis匯出資料
如果刪除了系統上自帶的python, 這裡我把一個python檔案刪除了. 這裡只需要設定一個軟連線就好了 bin] ln -s /usr/bin/python2.6 /usr/bin/python Linux會自帶一個Python2的版本, 我的伺服器自帶的是Pyth
[筆記]centos7編譯安裝python3…pip3
entos ins body arch ftp centos7 -a wget get 1004 cd / 1005 ls 1006 cd usr 1007 cd bin 1008 ls 1009 ls python* 1010 ls -al p
centos7安裝python3 pip3
一:基本環境 系統版本 centos7.3 python版本 使用官方python3.6.5正式版 二:開始部署 1、安裝各類基礎模組 yum gcc-c++ (為centos系統增加編譯功能) yum install wget openssl-devel bzip2
Centos7下成功安裝python3和scrapy爬蟲
1、安裝python3(保留python2) (1)原始碼編譯前準備 [root@hadron ~]# yum -y groupinstall "Development tools" [root@hadron ~]# yum -y install
centos6 安裝python3 pip3
本文第一部分主要參考CentOS 7 安裝 Python3、pip3,但在搬瓦工VPS的centos6下這樣安裝無法pip3。 安裝pip3會提示缺少setuptools,安裝setuptool會提示缺少庫_ctypes.so 一、安裝 Python 3 1.1 安裝準
CentOS安裝python3及scrapy
當伺服器在做資料遷移的時候,老是要安裝相關的scrapy軟體,今天來整理一下。 安裝依賴 yum update -y yum groupinstall 'Development Too
win7安裝python3.6.1及scrapy
2-2 們的 obj rom 控制 first iter html studio ---恢復內容開始--- 第一篇博客,記錄自己自學python的過程及問題。 首先下載python3.6.1及所需資料 百度雲:https://pan.baidu.com/s/1geOEp6z
Python3.5下安裝&測試Scrapy
版本過低 如果 ems 編寫 esp bsp 分享圖片 spi 基礎 1、引言 Scrapy框架結構清晰,基於twisted的異步架構可以充分利用計算機資源,是做爬蟲必備基礎,本文將對Scrapy的安裝作介紹。 2、安裝lxml 2.1 下載地址:https://
Scrapy-Redis的安裝和使用
org adt tps 擴展模塊 pytho 方便 imp scrapy ins Scrapy-Redis是Scrapy的分布式擴展模塊,有了它,我們就可以方便地實現Scrapy分布式爬蟲的搭建。GitHub:https://github.com/rmax/scrapy-r
Centos7下安裝Python3+scrapy以及填坑
1.安裝支援管理工具 [[email protected] ~]# yum -y groupinstall "Development tools" 2.支援庫的安裝 [[email protected]
Ubuntu系統下,pip3安裝python3的pymysql包 報錯的問題
sudo pip3 list 檢視安裝的包列表 如上圖, pip升級到18.1版本. 使用pip3 出現以下錯誤: Traceback (most recent call last): File “/usr/bin/pip3”, line 9, in from pip
python3爬蟲之安裝和使用scrapy
環境:win10-64位、python3.6 安裝依賴 安裝lxml pip install lxml 安裝zope.interface pip install zope.interface 安裝wheel pip inatall whee
Scrapy-redis 安裝配置使用
art serve http span spa redis服務器 服務器端 rap col # 安裝redis服務器端 sudo apt-get install redis-server # 安裝scrapy和scrapy-redis庫 pip i
大資料學習之路-Centos6安裝python3.5
Centos 6.8安裝python3.5.2 因為學習所需,需要用到python3.x的環境,目前Linux系統預設的版本都是python2.x的,還有一些自帶的工具需要用到python2.6版本,所以要求的是python3 和 python2 共存,pip2 和** pip3共存,如何安裝
Python - 保留了預設2.6,安裝python3之後如何使用pip3並匯入模組到python3,pyperclip為例
很多人在剛學python時就被告知python2在2020年之後就不會被維護了,所以大家都會選擇python3。我也是。 安裝python3的時候,又害怕刪除原有的預設python2版本會影響系統。所以我選擇了安裝python3,並保留python2。 以上是沒有什麼問題。 但是今天看書
CentOS 安裝Python3, pip3 centos7安裝python3.6和pip3
centos7安裝python3.6和pip3 1.yum -y install epel-release 2..執行成功之後,再次執行yum install python-pip 3.對安裝好的pip進行升級 pip install –upgrade pip (注意是兩個短橫線~~) 到這裡pip
【python3爬蟲】Scrapy Win10下安裝與新建Scrapy專案
詳細安裝教程可參考: http://www.runoob.com/w3cnote/scrapy-detail.html https://segmentfault.com/a/1190000013178839 其他教程: https://oner-wv.gitbooks.io/sc
安裝python3並安裝pip3
python是一門高階編譯語言,這麼語言可以讓你做一些運維平臺,是因為他可以執行linux中的命令,讓你實現自動化和半自動話,s 在運維開發這方面的話,就相當於把shell和java給結合了一下,java不支援linux命令,shell不支援介面華的執行。而python可以編寫成web網站,寫一些指令碼,這
Centos下安裝python3 和pip3
有大半年沒摸linux了,遇到2個問題,先記錄一下 1.掛載cdrom VM -設定-CD / DVD/ ios映象 選centos安裝包, mount -t auto /dev/cdrom /mnt/cdrom ,然後進入/mnt/cdrom/package 可以安裝各種rpm包 rp
centos python2.x環境下正確安裝python3並且配置pip3
wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz tar -xf Python-3.6.1.tgz cd Python-3.6.1 yum install gcc-c++ yum install pcre pcre