（一）為什麼用檢索？

爬蟲系統一般分為多執行緒下載部分，連結池，資料儲存，檢索系統等。這個檢索系統可以將我們爬取的資訊進行整合，並且可以加快我們查詢的速度。另外，不僅爬蟲系統使用，我覺得在一切想把結果做成索引對外提供查詢的需求都可以使用檢索系統，比如個人社工庫，大規模漏洞掃描系統（可以利用其做僵屍網路）等。檢索系統很多，但是我認為Elasticsearch比較方便，提供多種語言的API，比如java，php，perl，python等。今天就記錄下我折騰這個系統的過程。

（二）怎麼使用？

從網上下載客戶端與伺服器各一個，伺服器好說，下載下來就直接可以用：

進入bin目錄執行bat檔案即可，預設埠是9200。

客戶端（我使用的是PHP API）比較麻煩些, 要使用elasticsearch-php有如下三個要求：

1.PHP的版本在5.3.9以上，我用的是PHP5.3.23

2.在專案中使用Composor來管理包，下載地址如下：https://getcomposer.org/

3.在php.ini中開啟curl和openssl

安裝好composer之後，使用的過程如下：

（1）  新建一個目錄，我這裡的專案名為：phpcrawler。

（2）  在裡面新增下的json檔案：

	{  
	    "require":{  
	        "elasticsearch/elasticsearch" : "~1.2"  
	    }  
	} 
 

然後cd到這個資料夾，執行composer install --no-dev

稍等片刻就可以看到資料夾下出現了vendor資料夾，使用的也就是這個檔案，哪裡需要就貼上到哪裡即可。

這樣我們就可以直接在php中包含/vendor/autoload.php。

可能我的解釋不是很詳細，你也可以參考如下博文：

（三）構建爬蟲系統

有了PhpCrawler，PHP構建一個爬蟲系統變得就容易多了，只需要給一個入口連結，PhpCrawler就可以幫你自己爬取，當然，必要的正則還是要自己寫，不過省去了翻頁、連結池管理、連結排程等麻煩。對於如何使用PhpCrawler，不是本文討論的重點，你可以參考：

我所抓取的資料是歌單資料，一張歌單對應多個歌曲，歌單資訊包括建立時間，建立人，歌單名稱等，並存儲在Mysql上，有兩張表，一張是song，一張是songlist，通過songlist_id作為外來鍵關聯。

但是這些資料是比較亂的，用sql查詢起來不方便，並且查詢的速度也很慢，使用Elasticsearch構建索引會改變這一現狀。

（四）建立索引系統

在PHP中使用Elasticsearch類，返回的是一個客戶端，可以直接向建構函式傳遞一個array指明一個或者多個伺服器IP和埠。

建立過程如下：

（1）  建立一個客戶端

（2）  設定索引的名稱

（3）  設定索引的Mapping

   設定索引的mapping，名為：songlist_type。

（4）  設定索引項

使用$client物件的index新增索引項，要設定一個$params引數，body就是設定索引項的地方，這裡是把歌單的title和歌單的songlist_id做了一個索引。向伺服器提交一個關鍵字title就可以得到相應的id，使用這個id就可以獲取歌單中的歌曲。

新增完所有的索引項，索引就算做完了，記得執行一下，向伺服器提交索引

（五）使用索引查詢資料

建完了索引，自然是要利用到我們的需求中。在查詢時同樣也要建立一個客戶端，使用客戶端中的search方法，並設定引數就可以獲取結果集。這裡的提供的索引的鍵值為title（songlist_id和title構成的索引項）。Title的值設定為$query(GET中獲取)。

具體過程如下：

拿到結果集（Array），就可以從hits項中拿到查詢的結果。

提交$query=‘煩惱’，列印下search返回的結果陣列：

Array ( 
[took] => 2 
[timed_out] =>
[_shards] => Array ( 
[total] => 5
[successful] => 5 
[failed] => 0 ) 
[hits] => Array (   //查詢到的索引項的具體資訊，如果沒有匹配的項hits為空
[total] => 1   //匹配索引項的個數
[max_score] => 2.2478988 
[hits] => Array (    
[0] => Array ( 
[_index] => songlist_index  //索引的名稱
[_type] => songlist_type   //索引的mapping
[_id] => 209  //對應的id號
[_score] => 2.2478988 
[_source] => Array ( 
[title] => 你在煩惱什麼？  //結果的title
[songlist_id] => 209  //索引項的id 
) ) ) ) )

拿到之後遍歷之列印到頁面上即可~！

（六）使用效果

盜了百度的logo，但是重點是檢索的效果如下：

（七）總結

 簡簡單單用Elasticsearch構建索引，如果以後有相應的需求，記得使用這個檢索系統。