2. 程式人生 > >PHP爬蟲最全總結1

PHP爬蟲最全總結1

阿新 • • 發佈：2019-01-01

　爬蟲是我一直以來躍躍欲試的技術，現在的爬蟲框架很多，比較流行的是基於python，nodejs，java，C#，PHP的的框架，其中又以基於python的爬蟲流行最為廣泛，還有的已經是一套傻瓜式的軟體操作，如八爪魚，火車頭等軟體。

　今天我們首先嚐試的是使用PHP實現一個爬蟲程式，首先在不使用爬蟲框架的基礎上實踐也是為了理解爬蟲的原理，然後再利用PHP的lib，框架和擴充套件進行實踐。

所有程式碼掛在我的github上。

1.PHP簡單的爬蟲–原型

爬蟲的原理：

  • 給定原始的url；
  • 分析連結，根據設定的正則表示式獲取連結中的內容；
  • 有的會更新原始的url再進行分析連結，獲取特定內容，周而復始。
  • 將獲取的內容儲存在資料庫中（mysql）或者本地檔案中

下面是網上一個例子，我們列下來然後分析
從main函式開始

<?php
/**
 * 爬蟲程式 -- 原型
 *
 * 從給定的url獲取html內容
 * 
 * @param string $url 
 * @return string 
 */
function _getUrlContent($url) {
    $handle = fopen($url, "r");
    if ($handle) {
        $content = stream_get_contents($handle, -1);
        //讀取資源流到一個字串,第二個引數需要讀取的最大的位元組數。預設是-1（讀取全部的緩衝資料）
 

        // $content = file_get_contents($url, 1024 * 1024);
        return $content;
    } else {
        return false;
    } 
} 
/**
 * 從html內容中篩選連結
 * 
 * @param string $web_content 
 * @return array 
 */
function _filterUrl($web_content) {
    $reg_tag_a = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/'
 
;
    $result = preg_match_all($reg_tag_a, $web_content, $match_result);
    if ($result) {
        return $match_result[1];
    } 
} 
/**
 * 修正相對路徑
 * 
 * @param string $base_url 
 * @param array $url_list 
 * @return array 
 */
function _reviseUrl($base_url, $url_list) {
    $url_info = parse_url($base_url);//解析url
    $base_url = $url_info["scheme"] . '://';
    if ($url_info["user"] && $url_info["pass"]) {
        $base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@";
    } 
    $base_url .= $url_info["host"];
    if ($url_info["port"]) {
        $base_url .= ":" . $url_info["port"];
    } 
    $base_url .= $url_info["path"];
    print_r($base_url);
    if (is_array($url_list)) {
        foreach ($url_list as $url_item) {
            if (preg_match('/^http/', $url_item)) {
                // 已經是完整的url
                $result[] = $url_item;
            } else {
                // 不完整的url
                $real_url = $base_url . '/' . $url_item;
                $result[] = $real_url;
            } 
        } 
        return $result;
    } else {
        return;
    } 
} 
/**
 * 爬蟲
 * 
 * @param string $url 
 * @return array 
 */
function crawler($url) {
    $content = _getUrlContent($url);
    if ($content) {
        $url_list = _reviseUrl($url, _filterUrl($content));
        if ($url_list) {
            return $url_list;
        } else {
            return ;
        } 
    } else {
        return ;
    } 
} 
/**
 * 測試用主程式
 */
function main() {
    $file_path = "url-01.txt";
    $current_url = "http://www.baidu.com/"; //初始url
    if(file_exists($file_path)){
        unlink($file_path);
    }
    $fp_puts = fopen($file_path, "ab"); //記錄url列表
    $fp_gets = fopen($file_path, "r"); //儲存url列表
    do {
        $result_url_arr = crawler($current_url);
        if ($result_url_arr) {
            foreach ($result_url_arr as $url) {
                fputs($fp_puts, $url . "\r\n");
            } 
        } 
    } while ($current_url = fgets($fp_gets, 1024)); //不斷獲得url
} 
main();
?>

2.使用crul lib

Curl是比較成熟的一個lib，異常處理、http header、POST之類都做得很好，重要的是PHP下操作MySQL進行入庫操作比較省心。關於curl的說明具體可以檢視PHP官方文件說明http://php.net/manual/zh/book.curl.php
不過在多執行緒Curl（Curl_multi）方面比較麻煩。

開啟crul
針對winow系統：
- php.in中修改（註釋；去掉即可）

extension=php_curl.dll

  • php資料夾下的libeay32.dll, ssleay32.dll, libssh2.dll 還有 php/ext下的php_curl4個檔案移入windows/system32

使用crul爬蟲的步驟：
- 使用cURL函式的基本思想是先使用curl_init()初始化一個cURL會話；
- 接著你可以通過curl_setopt()設定你需要的全部選項；
- 然後使用curl_exec()來執行會話；
- 當執行完會話後使用curl_close()關閉會話。

例子

<?php
$ch = curl_init("http://www.example.com/");
$fp = fopen("example_homepage.txt", "w");

curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);

curl_exec($ch);
curl_close($ch);
fclose($fp);
?>

一個完整點的例子：

<?php
/**
 * 將demo1-01換成curl爬蟲
 * 爬蟲程式 -- 原型
 * 從給定的url獲取html內容
 * @param string $url 
 * @return string 
 */
function _getUrlContent($url) {
    $ch=curl_init();  //初始化一個cURL會話
    /*curl_setopt 設定一個cURL傳輸選項*/
    //設定需要獲取的 URL 地址
    curl_setopt($ch,CURLOPT_URL,$url);
    //TRUE 將curl_exec()獲取的資訊以字串返回，而不是直接輸出
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    //啟用時會將標頭檔案的資訊作為資料流輸出
    curl_setopt($ch,CURLOPT_HEADER,1);
    // 設定瀏覽器的特定header
    curl_setopt($ch, CURLOPT_HTTPHEADER, array(
        "Host: www.baidu.com",
        "Connection: keep-alive",
        "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Upgrade-Insecure-Requests: 1",
        "DNT:1",
        "Accept-Language: zh-CN,zh;q=0.8,en-GB;q=0.6,en;q=0.4,en-US;q=0.2",
        /*'Cookie:_za=4540d427-eee1-435a-a533-66ecd8676d7d; */    
        ));
    $result=curl_exec($ch);//執行一個cURL會話
    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);// 最後一個收到的HTTP程式碼
    if($code!='404' && $result){
       return $result;
    }
    curl_close($ch);//關閉cURL
} 
/**
 * 從html內容中篩選連結
 * @param string $web_content 
 * @return array 
 */
function _filterUrl($web_content) {
    $reg_tag_a = '/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/';
    $result = preg_match_all($reg_tag_a, $web_content, $match_result);
    if ($result) {
        return $match_result[1];
    } 
} 
/**
 * 修正相對路徑
 * @param string $base_url 
 * @param array $url_list 
 * @return array 
 */
function _reviseUrl($base_url, $url_list) {
    $url_info = parse_url($base_url);//解析url
    $base_url = $url_info["scheme"] . '://';
    if ($url_info["user"] && $url_info["pass"]) {
        $base_url .= $url_info["user"] . ":" . $url_info["pass"] . "@";
    } 
    $base_url .= $url_info["host"];
    if ($url_info["port"]) {
        $base_url .= ":" . $url_info["port"];
    } 
    $base_url .= $url_info["path"];
    print_r($base_url);
    if (is_array($url_list)) {
        foreach ($url_list as $url_item) {
            if (preg_match('/^http/', $url_item)) {
                // 已經是完整的url
                $result[] = $url_item;
            } else {
                // 不完整的url
                $real_url = $base_url . '/' . $url_item;
                $result[] = $real_url;
            } 
        } 
        return $result;
    } else {
        return;
    } 
} 
/**
 * 爬蟲
 * @param string $url 
 * @return array 
 */
function crawler($url) {
    $content = _getUrlContent($url);
    if ($content) {
        $url_list = _reviseUrl($url, _filterUrl($content));
        if ($url_list) {
            return $url_list;
        } else {
            return ;
        } 
    } else {
        return ;
    } 
} 
/**
 * 測試用主程式
 */
function main() {
    $file_path = "./url-03.txt";
    if(file_exists($file_path)){
        unlink($file_path);
    }
    $current_url = "http://www.baidu.com"; //初始url
    //記錄url列表 　ab- 追加開啟一個二進位制檔案，並在檔案末尾寫資料
    $fp_puts = fopen($file_path, "ab"); 
    //儲存url列表 r-只讀方式開啟，將檔案指標指向檔案頭
    $fp_gets = fopen($file_path, "r"); 
    do {
        $result_url_arr = crawler($current_url);
        echo "<p>$current_url</p>";
        if ($result_url_arr) {
            foreach ($result_url_arr as $url) {
                fputs($fp_puts, $url . "\r\n");
            } 
        } 
    } while ($current_url = fgets($fp_gets, 1024)); //不斷獲得url
} 
main();
?>

要對https支援，需要在_getUrlContent函式中加入下面的設定：

curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC ) ; 
curl_setopt($ch, CURLOPT_USERPWD, "username:password");    
curl_setopt($ch, CURLOPT_SSLVERSION,3); 
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); 
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2);

結果疑惑：
我們通過1和2部分得到的結果差異很大，第1部分能得到四千多條url資料，而第2部分卻一直是45條資料。

還有我們獲得url資料可能會有重複的，這部分處理在我的github上，對應demo2-01.php，或者demo2-02.php

3.file_get_contents/stream_get_contents與curl對比

3.1 file_get_contents/stream_get_contents對比

  • stream_get_contents — 讀取資源流到一個字串
    與 [file_get_contents()]一樣，但是 stream_get_contents() 是對一個已經開啟的資源流進行操作，並將其內容寫入一個字串返回
$handle = fopen($url, "r");
$content = stream_get_contents($handle, -1);//讀取資源流到一個字串,第二個引數需要讀取的最大的位元組數。預設是-1（讀取全部的緩衝資料）
  • file_get_contents — 將整個檔案讀入一個字串
$content = file_get_contents($url, 1024 * 1024);

【注】 如果要開啟有特殊字元的 URL （比如說有空格），就需要使用進行 URL 編碼。

3.2 file_get_contents/stream_get_contents與curl對比

php中file_get_contents與curl效能比較分析一文中有詳細的對比分析，主要的對比現在列下來：
- fopen /file_get_contents 每次請求都會重新做DNS查詢，並不對 DNS資訊進行快取。但是CURL會自動對DNS資訊進行快取。對同一域名下的網頁或者圖片的請求只需要一次DNS查詢。這大大減少了DNS查詢的次數。所以CURL的效能比fopen /file_get_contents 好很多。

  • fopen /file_get_contents 在請求HTTP時，使用的是http_fopen_wrapper，不會keeplive。而curl卻可以。這樣在多次請求多個連結時，curl效率會好一些。

  • fopen / file_get_contents 函式會受到php.ini檔案中allow_url_open選項配置的影響。如果該配置關閉了，則該函式也就失效了。而curl不受該配置的影響。

  • curl 可以模擬多種請求，例如：POST資料，表單提交等，使用者可以按照自己的需求來定製請求。而fopen / file_get_contents只能使用get方式獲取資料。

4.使用框架

使用框架這一塊打算以後單獨研究，並拿出來單寫一篇部落格

所有程式碼掛在我的github上。

相關推薦

PHP爬蟲最全總結1

　爬蟲是我一直以來躍躍欲試的技術，現在的爬蟲框架很多，比較流行的是基於python，nodejs，java，C#，PHP的的框架，其中又以基於python的爬蟲流行最為廣泛，還有的已經是一套傻瓜式的軟體操作，如八爪魚，火車頭等軟體。 　今天我們首先嚐試的是使用

PHP爬蟲最全總結2-phpQuery，PHPcrawer，snoopy框架中文介紹

prev opts 默認 eee 我們 sso 方法 內容 section 1.幾種常用的PHP爬蟲框架對比 原文鏈接：https://blog.csdn.net/future_todo/article/details/52804440 1.1 phpQuery 優勢：類似

Android插件化思考幸運飛艇平臺出租最新最全總結

第三方 android 輕量 服務 分析 性問題 本地 問題 單獨 插件化介紹百度百科裏是幸運飛艇平臺出租（www.1159880099.com） QQ1159880099這麽定義插件的：「 是一種遵循一定規範的應用程序接口編寫出來的程序，只能運行在程序規定的系統平臺下，而

決策樹面試知識點最全總結（五）——CART分類樹

CART分類樹用基尼指數選擇最優特徵，同時決定該特徵的最優二值切分點。 **基尼指數：**分類問題中，假設有K個類，樣本點屬於第k類的概率為 p

MySQL 最全總結

原始碼：https://blog.csdn.net/feifeiyechuan/article/details/84204378 1、資料庫操作 create database person; -- 建立資料庫 show DATABASES; -- 檢視資料庫 drop database p

Android儲存路徑最全總結

Logger.i("1、" + Environment.getRootDirectory() + ";2、" + Environment.getDataDirectory() + ";3、" + Environment.getD

Vue一個案例引發「內容分發slot」的最全總結

今天我們繼續來說說 Vue，目前一直在自學 Vue 然後也開始做一個專案實戰，我一直認為在實戰中去發現問題然後解決問題的學習方式是最好的，所以我在學習一些 Vue 的理論之後，就開始自己利用業餘時間做了一個專案，然後通過專案中的一些案例進行總結。 今天我們來說說 Vue 中的內容分發 <slot>

Python--openpyxl 淺談（最全總結 足夠初次使用）

Python_Openpyxl 1. 安裝 pip install openpyxl 2. 開啟檔案 ① 建立 from openpyxl import Workbook # 例項化 wb = Workbook() # 啟用 worksheet ws = wb.active

還不會搭建高可用redis架構？技術大牛最全總結讓你一學就會！

題記 Redis 是一個開源的使用 ANSI C 語言編寫、支援網路、可基於記憶體亦可持久化的日誌型、Key-Value 資料庫，並提供多種語言的 API。   如今，網際網路業務的資料正以更快的速度在增長，資料型別越來越豐富，這對資料處理的速度和能力提出了更高要求。Re

Java 5～11各個版本新特性史上最全總結

Java 5 Java5開發代號為Tiger(老虎),於2004-09-30發行 特性列表 泛型 列舉 自動裝箱拆箱 可變引數 註解 foreach迴圈（增強for、for/in） 靜態匯入

二分題目最全總結（持續更新）

一、概述      二分演算法是一種非常基礎的演算法，但是有時隱蔽性較高，或者和其他演算法聯用，在noip範圍內是一個比較大的考點。      對於以下簡單題目，不在贅述。猜數字，單調函式找零點，快速排序 ，找第K大數，二分查詢。 二、例題 2178 -- 【USAC

敏捷專案管理流程-Scrum框架最全總結！

會議目的 •該會議的工作以分析為主，目的是要詳細理解終端使用者到底要什麼，產品開發團隊可以從該會議中詳細瞭解終端使用者的真實需要。在會議的結束，團隊將會決定他們能夠交付哪些東西。 •產品負責人在會前準備：條目化的需求（使用者故事），優先順序排序，最近1~2個迭代最希望看到的功能。會前準備至關重要，可幫助產品

Android客戶端外掛化熱修復各種方案對比和最全總結

2016年不能扯幾句熱修復和外掛化都不好意思說自己是做 Android 的，雖然我對這個技術不怎麼感興趣，奈何業務需要也得深入的研究一下，本文記錄我對熱修復的外掛化的學習和研究。 技術背景 外掛化解決的問題 減小主包大小 不發版上新功能 獨立開發載入

［推薦］Android APP效能優化的四個方面最全總結

熱文導讀 | 點選標題閱讀作者：斜槓Allen原文：http://www.jianshu.com

Intellij IDEA控制檯提示：mvn不是內部或外部命令，也不是可執行的程式或批處理檔案（最全總結）

解決方案有兩種： 一、1、如果沒有安裝maven：在IDEA中使用maven，提示mvn不是內部命令，需要在環境變數中的使用者變數的Path中新增maven的bin路徑，重啟下IDEA即可，  1、環境變數（使用者）；  2、Path，新增IDEA下的maven的bin

Android各種知識點最全總結，面試必備

FrameLayout(框架佈局) 此佈局是五中佈局中最簡單的佈局，Android中並沒有對child view的擺佈進行控制，這個佈局中所有的控制元件都會默認出現在檢視的左上角，我們可以使用

機器學習模型相關評價指標最全總結

機器學習模型評價指標總結 1. 混淆矩陣（Confusion Matrix） （以下先考慮二分類問題） 其中：  TP（實際為正預測為正），FP（實際為負但預測為正） TN（實際為負預測為負），FN（實際為正但預測為負） 2. 基於混淆矩陣的相關評價指標 &n

Scrapy框架安裝錯誤解決（最全總結）

問題描述：當前環境win10，python_3.6.5，64位。 在windows下，在dos中執行pip install Scrapy報錯：解決方案：需要安裝依賴，http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下載Tw

PHP 中最全的設計模式（23種）

PhpDesignPatterns 【PHP 中的設計模式】 一、 Introduction【介紹】 設計模式：提供了一種廣泛的可重用的方式來解決我們日常程式設計中常常遇見的問題。設計模式並不一定就是一個類庫或者第三方框架，它們更多的表現為一種思想

Java基礎16：Java多線程基礎最全總結

focus dad 公平性 其中 負責 調用棧 variable 允許 loaded Java基礎16：Java多線程基礎最全總結 Java中的線程 Java之父對線程的定義是： 線程是一個獨立執行的調用序列，同一個進程的線程在同一時刻共享一些系統資源（比如文件句柄等）也