PHP抓取採集類snoopy介紹
阿新 • • 發佈：2019-01-01
snoopy是一個php類，用來模仿web瀏覽器的功能，它能完成獲取網頁內容和傳送表單的任務。官方網站 http://snoopy.sourceforge.net/
Snoopy的一些功能特點：
- 抓取網頁的內容 fetch()
- 抓取網頁的文字內容 (去除HTML標籤) fetchtext()
- 抓取網頁的連結，表單 fetchlinks() fetchform()
- 支援代理主機
- 支援基本的使用者名稱/密碼驗證
- 支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔案)
- 支援瀏覽器重定向，並能控制重定向深度
- 能把網頁中的連結擴充套件成高質量的url(預設)
- 提交資料並且獲取返回值
- 支援跟蹤HTML框架
- 支援重定向的時候傳遞cookies
要求php4以上就可以。由於本身是php一個類，無需擴支援，伺服器不支援curl時候的最好選擇。
類方法
1. fetch($uri)
這是為了抓取網頁的內容而使用的方法。$URI引數是被抓取網頁的URL地址。抓取的結果被儲存在 $this->results 中。
如果你正在抓取的是一個框架，Snoopy將會將每個框架追蹤後存入陣列中，然後存入 $this->results。
<?php $url = "http://www.nowamagic.net/librarys/veda/"; include("./Snoopy.class.php"); $snoopy = new Snoopy; $snoopy->fetch($url); //獲取所有內容 echo $snoopy->results; //顯示結果 ?>
2. fetchtext($URI)
本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中的文字內容。
<?php
$url = "http://www.nowamagic.net/librarys/veda/";
include("./Snoopy.class.php");
$snoopy = new Snoopy;
$snoopy->fetchtext($url); //獲取文字內容
echo $snoopy->results; //顯示結果
?>3. fetchform($URI)
本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中表單內容(form)。
本方法類似於fetch()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。
5. submit($URI,$formvars)本方法向$URL指定的連結地址傳送確認表單。$formvars是一個儲存表單引數的陣列。
6. submittext($URI,$formvars)本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回登陸後網頁中的文字內容。
7. submitlinks($URI)本方法類似於submit()，唯一不同的就是本方法會去除HTML標籤和其他的無關資料，只返回網頁中連結(link)。預設情況下，相對連結將自動補全，轉換成完整的URL。
類屬性 (預設值在括號裡)- $host 連線的主機
- $port 連線的埠
- $proxy_host 使用的代理主機，如果有的話
- $proxy_port 使用的代理主機埠，如果有的話
- $agent 使用者代理偽裝 (Snoopy v0.1)
- $referer 來路資訊，如果有的話
- $cookies cookies， 如果有的話
- $rawheaders 其他的頭資訊, 如果有的話
- $maxredirs 最大重定向次數， 0=不允許 (5)
- $offsiteok whether or not to allow redirects off-site. (true)
- $expandlinks 是否將連結都補全為完整地址 (true)
- $user 認證使用者名稱, 如果有的話
- $pass 認證使用者名稱, 如果有的話
- $accept http 接受型別 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
- $error 哪裡報錯, 如果有的話
- $response_code 從伺服器返回的響應程式碼
- $headers 從伺服器返回的頭資訊
- $maxlength 最長返回資料長度
- $read_timeout 讀取操作超時 (requires PHP 4 Beta 4+)，設定為0為沒有超時
- $timed_out 如果一次讀取操作超時了，本屬性返回 true (requires PHP 4 Beta 4+)
- $maxframes 允許追蹤的框架最大數量
- $status 抓取的http的狀態
- $temp_dir 網頁伺服器能夠寫入的臨時檔案目錄 (/tmp)
- $curl_path cURL binary 的目錄, 如果沒有cURL binary就設定為 false
Demo
include "Snoopy.class.php";
$snoopy = new Snoopy;
$snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";
$snoopy->proxy_port = "80";
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";
$snoopy->referer = "http://www.4wei.cn";
$snoopy->cookies["SessionID"] = 238472834723489l;
$snoopy->cookies["favoriteColor"] = "RED";
$snoopy->rawheaders["Pragma"] = "no-cache";
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
$snoopy->user = "joe";
$snoopy->pass = "bloe";
if($snoopy->fetchtext("http://www.4wei.cn"))
{
echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>n";
}
else
echo "error fetching document: ".$snoopy->error."n";
獲取指定url內容：
<?
$url = "http://www.nowamagic.net/librarys/veda/";
include("snoopy.php");
$snoopy = new Snoopy;
$snoopy->fetch($url); //獲取所有內容
echo $snoopy->results; //顯示結果
//可選以下
//$snoopy->fetchtext //獲取文字內容（去掉html程式碼）
//$snoopy->fetchlinks //獲取連結
//$snoopy->fetchform //獲取表單
?><?php
$formvars["username"] = "admin";
$formvars["pwd"] = "admin";
$action = "http://www.nowamagic.net/librarys/veda/";//表單提交地址
$snoopy->submit($action,$formvars);//$formvars為提交的陣列
echo $snoopy->results; //獲取表單提交後的 返回的結果
//可選以下
$snoopy->submittext; //提交後只返回 去除html的 文字
$snoopy->submitlinks;//提交後只返回 連結
?><?php
$formvars["username"] = "admin";
$formvars["pwd"] = "admin";
$action = "http://www.4wei.cn";
include "snoopy.php";
$snoopy = new Snoopy;
$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //偽裝sessionid
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //偽裝瀏覽器
$snoopy->referer = http://www.4wei.cn; //偽裝來源頁地址 http_referer
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http頭資訊
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //偽裝ip
$snoopy->submit($action,$formvars);
echo $snoopy->results;
?>原來我們可以偽裝session 偽裝瀏覽器 ，偽裝ip， haha 可以做很多事情了。例如 帶驗證碼，驗證ip 投票， 可以不停的投。
ps:這裡偽裝ip ，其實是偽裝http頭，所以一般的通過 REMOTE_ADDR 獲取的ip是偽裝不了，反而那些通過http頭來獲取ip的(可以防止代理的那種) 就可以自己來製造ip。
關於如何驗證碼 ，簡單說下：首先用普通的瀏覽器， 檢視頁面 ， 找到驗證碼所對應的sessionid，同時記下sessionid和驗證碼值，接下來就用snoopy去偽造 。
原理：由於是同一個sessionid 所以取得的驗證碼和第一次輸入的是一樣的。
有時我們可能需要偽造更多的東西，snoopy完全為我們想到了：
<?php
$snoopy->proxy_host = "http://www.nowamagic.net/librarys/veda/";
$snoopy->proxy_port = "8080"; //使用代理
$snoopy->maxredirs = 2; //重定向次數
$snoopy->expandlinks = true; //是否補全連結 在採集的時候經常用到
// 例如連結為 /images/taoav.gif 可改為它的全連結 <a href="http://www.4wei.cn/images/taoav.gif">http://www.4wei.cn/images/taoav.gif</a>
$snoopy->maxframes = 5 //允許的最大框架數
//注意抓取框架的時候 $snoopy->results 返回的是一個數組
$snoopy->error //返回報錯資訊
?>/**
* You need the snoopy.class.php from
* http://snoopy.sourceforge.net/
*/
include("snoopy.class.php");
$snoopy = new Snoopy;
// need an proxy?:
//$snoopy->proxy_host = "my.proxy.host";
//$snoopy->proxy_port = "8080";
// set browser and referer:
$snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)";
$snoopy->referer = "http://www.jonasjohn.de/";
// set some cookies:
$snoopy->cookies["SessionID"] = '238472834723489';
$snoopy->cookies["favoriteColor"] = "blue";
// set an raw-header:
$snoopy->rawheaders["Pragma"] = "no-cache";
// set some internal variables:
$snoopy->maxredirs = 2;
$snoopy->offsiteok = false;
$snoopy->expandlinks = false;
// set username and password (optional)
//$snoopy->user = "joe";
//$snoopy->pass = "bloe";
// fetch the text of the website www.google.com:
if($snoopy->fetchtext("http://www.google.com")){
// other methods: fetch, fetchform, fetchlinks, submittext and submitlinks
// response code:
print "response code: ".$snoopy->response_code."<br/>n";
// print the headers:
print "<b>Headers:</b><br/>";
while(list($key,$val) = each($snoopy->headers)){
print $key.": ".$val."<br/>n";
}
print "<br/>n";
// print the texts of the website:
print htmlspecialchars($snoopy->results)."n";
}
else {
print "Snoopy: error while fetching document: ".$snoopy->error."n";
}<meta http-equiv='content-type' content='text/html;charset=utf-8'>
<?php
include 'Snoopy.class.php'; //載入Snoopy類
$snoopy = new Snoopy(); //例項化一個物件
$sourceURL = "http://www.nowamagic.net/librarys/veda/"; //要抓取的網頁
$snoopy->fetchlinks($sourceURL); //獲得網頁的連結
$a = $snoopy->results; //得到網頁連結的結果
$re = "/d+.html$/"; //匹配的正則
//過濾獲取指定的檔案地址請求
foreach ($a as $tmp) {
if (preg_match($re, $tmp)) {
$aa=$tmp;
}
}
getImgURL($aa);
function getImgURL($siteName)
{
$snoopy = new Snoopy();
$snoopy->fetch($siteName);
$fileContent = $snoopy->results; //獲取過濾後的頁面的內容
//匹配圖片的正則表示式
$reTag = "/<img[^s]+src="(http://[^"]+).(jpg|png|gif|jpeg)"[^/]*/>/i";
if (preg_match($reTag, $fileContent)) {
//過濾圖片
$ret = preg_match_all($reTag, $fileContent, $matchResult);
for ($i = 0, $len = count($matchResult[1]); $i < $len; ++$i)
{
saveImgURL($matchResult[1][$i], $matchResult[2][$i]);
}
}
}
function saveImgURL($name, $suffix) {
$url = $name.".".$suffix;
echo "請求的圖片地址：".$url."<br/>";
$imgSavePath = "E:/123/images/"; //圖片儲存地址
$imgId =mt_rand(); //產生一個隨機的檔名
if ($suffix == "gif") {
//根據圖片型別，放入不同的資料夾下面
$imgSavePath .= "emotion";
}
else
{
$imgSavePath .= "topic";
}
$imgSavePath .= ("/".$imgId.".".$suffix); //組裝要儲存的檔名
if (is_file($imgSavePath)) {
//判斷檔名是否存在，存在則刪除
unlink($imgSavePath);
echo "<p style='color:#f00;'>檔案".$imgSavePath."已存在，將被刪除</p>";
}
$imgFile = file_get_contents($url); //讀取網路檔案
$flag = file_put_contents($imgSavePath,$imgFile); //寫入到本地
if ($flag) {
echo "<p>檔案".$imgSavePath."儲存成功</p>";
}
}
?>