PHP類推薦:QueryList|基於phpQuery的無比強大的PHP采集工具
阿新 • • 發佈:2018-10-18
document 信息 文字 相對 agen post 列表 new cat QueryList的出現讓PHP做采集從未如此簡單。得益於phpQuery,讓使用QueryList幾乎沒有任何學習成本,只要會CSS3選擇器就可以輕松使用QueryList了,和jQuery選擇器用法完全通用,它讓PHP做采集像jQuery選擇元素一樣簡單。
初探
看看PHP用QueryList做采集到底有多簡潔吧!
<?php use QL\QueryList; //采集某頁面所有的圖片 $data = QueryList::Query(‘http://cms.querylist.cc/bizhi/453.html‘,array( //采集規則庫 //‘規則名‘ => array(‘jQuery選擇器‘,‘要采集的屬性‘), ‘image‘ => array(‘img‘,‘src‘) ))->data; //打印結果 print_r($data); //采集某頁面所有的超鏈接 //可以先手動獲取要采集的頁面源碼 $html = file_get_contents(‘http://cms.querylist.cc/google/list_1.html‘); //然後可以把頁面源碼或者HTML片段傳給QueryList $data = QueryList::Query($html,array( ‘link‘ => array(‘a‘,‘href‘) ))->data; //打印結果 print_r($data); /** * 在線測試采集並查看采集結果:http://querylist.cc/page-Querytest.html */
進階
上面的采集結果有很多“雜質”,一定不會滿足你的要求,來獲取我們真正想要的結果。
<?php use QL\QueryList; //采集該頁面[正文內容]中所有的圖片 $data = QueryList::Query(‘http://cms.querylist.cc/bizhi/453.html‘,array( ‘image‘ => array(‘.post_content img‘,‘src‘) ))->data; //打印結果 print_r($data); //采集該頁面文章列表中所有[文章]的超鏈接 $data = QueryList::Query(‘http://cms.querylist.cc/google/list_1.html‘,array( ‘link‘ => array(‘h2>a‘,‘href‘,‘‘,function($content){ //利用回調函數補全相對鏈接 $baseUrl = ‘http://cms.querylist.cc‘; return $baseUrl.$content; })),‘.cate_list li‘)->data; //打印結果 print_r($data);
全貌
正如你看到的那樣,QueryList只有一個主要的方法Query,學會了使用Query方法也就意味著你已經熟練了QueryList!
<?php /** * 下面來完整的演示采集一篇文章頁的文章標題、發布日期和文章內容 */ //引入自動加載文件 require ‘vendor/autoload.php‘; /** * 或者手動引入 * * 引入QueryList依賴 * require ‘QueryList/phpQuery.php‘; * 引入QueryList * require ‘QueryList/QueryList.php‘; */ use QL\QueryList; //需要采集的目標頁面 $page = ‘http://cms.querylist.cc/news/566.html‘; //采集規則 $reg = array( //采集文章標題 ‘title‘ => array(‘h1‘,‘text‘), //采集文章發布日期,這裏用到了QueryList的過濾功能,過濾掉span標簽和a標簽 ‘date‘ => array(‘.pt_info‘,‘text‘,‘-span -a‘,function($content){ //用回調函數進一步過濾出日期 $arr = explode(‘ ‘,$content); return $arr[0]; }), //采集文章正文內容,利用過濾功能去掉文章中的超鏈接,但保留超鏈接的文字,並去掉版權、JS代碼等無用信息 ‘content‘ => array(‘.post_content‘,‘html‘,‘a -.content_copyright -script‘,function($content){ //利用回調函數下載文章中的圖片並替換圖片路徑為本地路徑 //使用本例請確保當前目錄下有image文件夾,並有寫入權限 //由於QueryList是基於phpQuery的,所以可以隨時隨地使用phpQuery,當然在這裏也可以使用正則或者其它方式達到同樣的目的 $doc = phpQuery::newDocumentHTML($content); $imgs = pq($doc)->find(‘img‘); foreach ($imgs as $img) { $src = ‘http://cms.querylist.cc‘.pq($img)->attr(‘src‘); $localSrc = ‘image/‘.md5($src).‘.jpg‘; $stream = file_get_contents($src); file_put_contents($localSrc,$stream); pq($img)->attr(‘src‘,$localSrc); } return $doc->htmlOuter(); }) ); $rang = ‘.content‘; $ql = QueryList::Query($page,$reg,$rang); $data = $ql->getData(); //打印結果 print_r($data);
擴展
QueryList的功能很單一,就是Query,但擴展讓QueryList變得無限可能!
<?php
/**
* 目前已經有:HTTP操作、多線程、模擬登陸等QueryList擴展
* 下面來利用QueryList擴展來組合上面的例子,實現多線程采集文章並保存文章圖片到本地
*/
use QL\QueryList;
//HTTP操作擴展
$urls = QueryList::run(‘Request‘,[
‘target‘ => ‘http://cms.querylist.cc/news/list_2.html‘,
‘referrer‘=>‘http://cms.querylist.cc‘,
‘method‘ => ‘GET‘,
‘params‘ => [‘var1‘ => ‘testvalue‘, ‘var2‘ => ‘somevalue‘],
‘user_agent‘=>‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0‘,
‘cookiePath‘ => ‘./cookie.txt‘,
‘timeout‘ =>‘30‘
])->setQuery([‘link‘ => [‘h2>a‘,‘href‘,‘‘,function($content){
//利用回調函數補全相對鏈接
$baseUrl = ‘http://cms.querylist.cc‘;
return $baseUrl.$content;
}]],‘.cate_list li‘)->getData(function($item){
return $item[‘link‘];
});
//多線程擴展
QueryList::run(‘Multi‘,[
‘list‘ => $urls,
‘curl‘ => [
‘opt‘ => array(
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_AUTOREFERER => true,
),
//設置線程數
‘maxThread‘ => 100,
//設置最大嘗試數
‘maxTry‘ => 3
],
‘success‘ => function($a){
//采集規則
$reg = array(
//采集文章標題
‘title‘ => array(‘h1‘,‘text‘),
//采集文章發布日期,這裏用到了QueryList的過濾功能,過濾掉span標簽和a標簽
‘date‘ => array(‘.pt_info‘,‘text‘,‘-span -a‘,function($content){
//用回調函數進一步過濾出日期
$arr = explode(‘ ‘,$content);
return $arr[0];
}),
//采集文章正文內容,利用過濾功能去掉文章中的超鏈接,但保留超鏈接的文字,並去掉版權、JS代碼等無用信息
‘content‘ => array(‘.post_content‘,‘html‘,‘a -.content_copyright -script‘,function($content){
//利用回調函數下載文章中的圖片並替換圖片路徑為本地路徑
//使用本例請確保當前目錄下有image文件夾,並有寫入權限
//由於QueryList是基於phpQuery的,所以可以隨時隨地使用phpQuery,當然在這裏也可以使用正則或者其它方式達到同樣的目的
$doc = phpQuery::newDocumentHTML($content);
$imgs = pq($doc)->find(‘img‘);
foreach ($imgs as $img) {
$src = pq($img)->attr(‘src‘);
$localSrc = ‘image/‘.md5($src).‘.jpg‘;
$stream = file_get_contents($src);
file_put_contents($localSrc,$stream);
pq($img)->attr(‘src‘,$localSrc);
}
return $doc->htmlOuter();
})
);
$rang = ‘.content‘;
$ql = QueryList::Query($a[‘content‘],$reg,$rang);
$data = $ql->getData();
//打印結果,實際操作中這裏應該做入數據庫操作
print_r($data);
}
]);
PHP類推薦:QueryList|基於phpQuery的無比強大的PHP采集工具