1. 程式人生 > >python分散式爬蟲--房天下

python分散式爬蟲--房天下

第一步安裝redis

redis在windows系統中的安裝與啟動:

  1. 下載:redis官方是不支援windows作業系統的。但是微軟的開源部門將redis移植到了windows上。因此下載地址不是在redis官網上。而是在github上:https://github.com/MicrosoftArchive/redis/releases。
  2. 安裝:點選一頓下一步安裝就可以了。
  3. 執行:進入到redis安裝所在的路徑然後執行redis-server.exe redis.windows.conf就可以運行了。
  4. 連線:redismysql以及mongo是一樣的,都提供了一個客戶端進行連線。輸入命令redis-cli
    (前提是redis安裝路徑已經加入到環境變數中了)就可以連線到redis伺服器了。

其他機器訪問本機redis伺服器:

想要讓其他機器訪問本機的redis伺服器。那麼要修改redis.conf的配置檔案,將bind改成bind [自己的ip地址或者0.0.0.0],其他機器才能訪問。
注意:bind繫結的是本機網絡卡的ip地址,而不是想讓其他機器連線的ip地址。如果有多塊網絡卡,那麼可以繫結多個網絡卡的ip地址。如果繫結到額是0.0.0.0,那麼意味著其他機器可以通過本機所有的ip地址進行訪問。

redis的操作

redis的操作可以用兩種方式,第一種方式採用redis-cli,第二種方式採用程式語言,比如Python

PHPJAVA等。

  1. 使用redis-cliredis進行字串操作:

  2. 啟動redis

      sudo service redis-server start
    
  3. 連線上redis-server
      redis-cli -h [ip] -p [埠]
    
  4. 新增:

      set key value
      如:
      set username xiaotuo
    

    將字串值value關聯到key。如果key已經持有其他值,set命令就覆寫舊值,無視其型別。並且預設的過期時間是永久,即永遠不會過期。

  5. 刪除:

      del key
      如:
      del username
    
  6. 設定過期時間:

      expire key timeout(單位為秒)
    

    也可以在設定值的時候,一同指定過期時間:

      set key value EX timeout
      或:
      setex key timeout value
    
  7. 檢視過期時間:

      ttl key
      如:
      ttl username
    
  8. 檢視當前redis中的所有key

      keys *

第二步建立專案

第三步設定settings.py檔案