米撲科技，是一家專注網際網路金融和大資料探勘的初創網際網路公司，正式註冊成立於2016年9月，總部位於北京市海淀區中關村核心功能區。

米撲團隊，成員來自百度、小米、阿里、創新工場等一線網際網路公司，核心技術研發，實戰經驗豐富，具有濃厚的極客精神和精益的工匠品質。

米撲代理，是米撲科技旗下的一款用於網頁抓取、資料採集的代理產品，作為全球代理服務的領導品牌，產品優勢如下：

1. 五年來，已經積累超過2000多萬的海量代理庫，每天可用代理5000個左右

2. 覆蓋全球120多個國家，中國34個省市，支援國家批量篩選

3. 支援http、https、socks4、socks5等協議，總能滿足您的需求

4. 擁有完全自主研發的代理檢測核心引擎，技術研發實力雄厚

5. 擁有幾十臺雲伺服器，完全自主搭建的代理伺服器，分佈於全球十多個國家

6. 作為全球代理的企業級領導品牌，服務於全球5000多家企業客戶，日均代理提取數超過10億個

米撲代理案例

楊小米，最近在公司做爬蟲工作，採集股票金融資料，寫程式抓取資料的過程並不像平常我們用瀏覽器開啟網頁那麼簡單！

大多數的金融資料網站為了自己站點的效能和資料安全都設定了各種反爬策略。最常見的反爬蟲策略有輸入驗證碼、需要使用者登陸、單個IP設定次數和頻率、訪問網頁軌跡等等！所以廣大的爬蟲工程師，在抓取資料之前一般都會先調研目標網站是否設定了反爬策略。當不能正常訪問網站時，可以在程式中設定代理IP來判斷網站是不是封禁了我們的IP，或者使用海量的代理IP來爬取網頁採集資料，推薦使用米撲代理：

CentOS 7 搭建 TinyProxy 代理

TinyProxy 和 Squid 都是比較優秀的代理軟體

TinyProxy比較小眾，雖然沒有Squid的功能豐富，但是小巧簡單，也能滿足普通使用者的需求。

Squid 是一款優秀的代理軟體，有很豐富的ACL管理功能，雖然squid很強大，但配置比較繁瑣。

1. 安裝 TinyProxy

yum -y install tinyproxy

2. 配置 TinyProxy

vim /etc/tinyproxy/tinyproxy.conf

修改 Port 埠，預設為 8888

Port 8888

註釋掉 Allow，表示允許所有人訪問代理

#Allow 127.0.0.1

隱藏掉Via請求頭部，去掉下面的註釋

DisableViaHeader Yes

更多配置項，下面是列舉一些配置檔案預設的，不需要配置：

PidFile "/var/run/tinyproxy/tinyproxy.pid"
LogFile "/var/log/tinyproxy/tinyproxy.log"
LogLevel Info
MaxClients 100
MinSpareServers 5
MaxSpareServers 20
StartServers 10

3. 啟動 TinyProxy

systemctl start tinyproxy.service 

更多命令如下：

systemctl restart tinyproxy.service 
systemctl stop tinyproxy.service 
systemctl status tinyproxy.service 
systemctl enable tinyproxy.service 

4. 關閉防火牆或開放埠訪問

方式1：關閉防火牆

/etc/init.d/iptables stop

方式2：開放埠訪問

iptables -A INPUT -p tcp --dport 8888 -j ACCEPT

重啟防火牆

/etc/init.d/iptables restart

注意：若採用的阿里雲、騰訊雲、AWS等雲伺服器，記得要在安全策略裡開放埠號

5. 驗證生效

1）命令列測試驗證

curl 和 wget 測試使用代理，請參考米撲代理的使用示例，總結的非常全面！強烈推薦！

這裡，直接使用米撲代理的最簡單示例：

curl -m 30 --retry 3 -x http://58.87.90.149:8888 http://proxy.mimvp.com/exist.php | grep 'color="red"'
                                <font color="red">58.87.90.149</font>
curl -m 30 --retry 3 -x http://58.87.90.149:8888 -k https://proxy.mimvp.com/exist.php | grep 'color="red"'
                                <font color="red">58.87.90.149</font>

tinyproxy 支援 http 和 https 兩種協議，經米撲代理測試，成功！

2）Firefox 外掛測試

首先，安裝 Proxy Switcher

其次，配置代理，如下圖：

然後，訪問米撲代理網站，驗證代理

上圖裡，http_via 帶有引數，要隱藏需要修改配置檔案

vim /etc/tinyproxy/tinyproxy.conf

隱藏掉Via請求頭部，去掉下面的註釋

DisableViaHeader Yes

重啟 tinyproxy

systemctl restart tinyproxy.service

網友評價：

非常棒的總結，按照米撲代理的配置步驟，都配置成功了！分享米撲代理的測試方法：

curl 和 wget 測試使用代理，請參考米撲代理的使用示例，總結的非常全面！強烈推薦！

這裡，直接使用米撲代理的最簡單示例：

curl -m 30 --retry 3 -x http://58.87.90.149:8888 http://proxy.mimvp.com/exist.php | grep 'color="red"'
                                <font color="red">58.87.90.149</font>
curl -m 30 --retry 3 -x http://58.87.90.149:8888 -k https://proxy.mimvp.com/exist.php | grep 'color="red"'
                                <font color="red">58.87.90.149</font>