1. 程式人生 > >代理池proxy_pool的安裝與配置

代理池proxy_pool的安裝與配置

一.代理ip的分類: 1.免費的代理IP,例如:西刺免費代理IP,可用的IP少,時效性較短,大部分的代理IP可能在訪問網站時都是失效的。 http://www.xicidaili.com/ 2.收費的代理IP,例如:迅代理 https://h.wandouip.com/product 在這裡插入圖片描述 3爬取國外的網站,例如:VPN代理,指在共用網路上建立專用網路的技術。之所以稱為虛擬網主要是因為整個VPN網路的任意兩個結點之間的連線並沒有傳統專網建設所需的點到點的物理鏈路,而是架構在公用網路服務商ISP所提供的網路平臺之上的邏輯網路。使用者的資料是通過ISP在公共網路(Internet)中建立的邏輯隧道(Tunnel),即點到點的虛擬專線進行傳輸的。通過相應的加密和認證技術來保證使用者內部網路資料在公網上安全傳輸,從而真正實現網路資料的專有性。 二.proxy_pool: 1.它將國內的代理IP網站都進行了爬取; 2.代理IP爬取完畢之後,會進行檢測,可用的IP會儲存到資料庫redis中; 3.會定期將資料庫中的代理IP拿出來檢測,失效的IP從資料庫中刪除; 4.支援擴充套件 三.下載proxy_pool的步驟: 1.百度搜索:GitHub,進入官網,搜尋proxy_pool 在這裡插入圖片描述

在這裡插入圖片描述 3.下載完成後,解壓到d盤資料夾中 4.將D盤相應資料夾中依賴包後面的版本號去掉,改成下列的形式: 在這裡插入圖片描述 5.cmd命令列輸入以下命令:

pip install -r requirements.txt

在這裡插入圖片描述 6.D:\proxy_pool-master\ProxyGetter\getFreeProxy中刪除幾行程式碼 在這裡插入圖片描述 在這裡插入圖片描述 7.找到D:\proxy_pool-master\Test\testWebRequest,並開啟 在這裡插入圖片描述 8.關於代理IP的配置就進行到這裡。 四.Redis的安裝 下載地址https://github.com/MSOpenTech/redis/releases 1.在這裡插入圖片描述 2.安裝的過程中,一直“next”,除了下面的打 對勾 之外,其他的都預設,不需要更改。直到“finish” 在這裡插入圖片描述

更改路徑:儲存在D盤/Redis資料夾裡 3.開啟cmd,輸入以下命令:

redis-server.exe redis.windows.conf netstat -aon|findstr ‘6379’ taskkill /pid 4364 /f

在這裡插入圖片描述 4.右擊‘計算機’,管理,找到‘服務’,然後開啟Redis。 在這裡插入圖片描述 5.開啟cmd,輸入以下命令 在這裡插入圖片描述 6.如果執行的過程中,出現錯誤,解決方案:ctrl+c退出cmd命令的執行。同時可到D:\proxy_pool-master\ProxyGetter\getFreeProxy.py檔案中刪除對應的未響應的代理函式。 在這裡插入圖片描述 7.再次執行,鍵盤上向上的箭頭可快速寫入以前的命令,最終出來的結果為: 在這裡插入圖片描述

小黑視窗不能關閉,否則http://127.0.0.1:5010/get_all/網址無法訪問