Laravel + Elasticsearch 實現中文搜尋的方法
Elasticsearch
Elasticsearch 是一個基於 Apache Lucene(TM) 的開源搜尋引擎,無論在開源還是專有領域,Lucene可 以被認為是迄今為止最先進、效能最好的、功能最全的搜尋引擎庫。
但是,Lucene 只是一個庫。想要發揮其強大的作用,你需使用 Java 並要將其整合到你的應用中。Lucene 非常複雜,你需要深入的瞭解檢索相關知識來理解它是如何工作的。
Elasticsearch 也是使用 Java 編寫並使用 Lucene 來建立索引並實現搜尋功能,但是它的目的是通過簡單連貫的 RESTful API 讓全文搜尋變得簡單並隱藏 Lucene 的複雜性。
不過,Elasticsearch 不僅僅是 Lucene 和全文搜尋引擎,它還提供:
- 分散式的實時檔案儲存,每個欄位都被索引並可被搜尋
- 實時分析的分散式搜尋引擎
- 可以擴充套件到上百臺伺服器,處理PB級結構化或非結構化資料
而且,所有的這些功能被整合到一臺伺服器,你的應用可以通過簡單的 RESTful API、各種語言的客戶端甚至命令列與之互動。上手 Elasticsearch 非常簡單,它提供了許多合理的預設值,並對初學者隱藏了複雜的搜尋引擎理論。它開箱即用(安裝即可使用),只需很少的學習既可在生產環境中使用。
Elasticsearch 在 Apache 2 license 下許可使用,可以免費下載、使用和修改。
ElasticSearch 安裝
在 Laradock 中已經集成了 ElasticSearch。我們可以直接使用:
docker-compose up -d elasticsearch
如果需要安裝外掛,執行命令:
docker-compose exec elasticsearch /usr/share/elasticsearch/bin/elasticsearch-plugin install {plugin-name} // 重啟容器 docker-compose restart elasticsearch
注:
The vm.max_map_count kernel setting must be set to at least 262144 for production use.由於我是 centos 7 環境,直接設定在系統設定:
sysctl -w vm.max_map_count=262144
預設使用者名稱和密碼:「elastic」、「changeme」,埠號:9200
ElasticHQ
ElasticHQ is an open source application that offers a simplified interface for managing and monitoring Elasticsearch clusters.Management and Monitoring for Elasticsearch.
http://www.elastichq.org/
- Real-Time Monitoring
- Full Cluster Management
- Full Cluster Monitoring
- Elasticsearch Version Agnostic
- Easy Install - Always On
- Works with X-Pack
輸入我們的 Elasticsearch Host,即可進入後臺。
預設的建立了:
一個叢集 cluster:laradock-cluster
一個節點 node:laradock-node
一個索引 index:.elastichq
IK 分詞器安裝
ElasticSearch 主要是用於自己 blog 或者公眾號文章的搜尋使用,所以需要選擇一箇中文分詞器配合使用,這裡剛開始推薦使用 IK 分詞器,下面開始安裝對應 ElasticSearch版本 (7.5.1) 一致的外掛:
https://github.com/medcl/elasticsearch-analysis-ik/releases
// 安裝外掛 docker-compose exec elasticsearch /usr/share/elasticsearch/bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.5.1/elasticsearch-analysis-ik-7.5.1.zip
注:可以將 zip 檔案先下載回來,然後再安裝,速度會快些。
檢驗分詞效果
根據 Elasticsearch API 測試,分詞的效果達到了:
~ curl -X POST "http://your_host/_analyze?pretty" -H 'Content-Type: application/json' -d' { "analyzer": "ik_max_word","text": "我是中國人" } ' { "tokens" : [ { "token" : "我","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0 },{ "token" : "是","start_offset" : 1,"end_offset" : 2,"position" : 1 },{ "token" : "中國人","start_offset" : 2,"end_offset" : 5,"type" : "CN_WORD","position" : 2 },{ "token" : "中國","end_offset" : 4,"position" : 3 },{ "token" : "國人","start_offset" : 3,"position" : 4 } ] }
結合 Laravel
雖然 Elasticsearch 官方提供了對應的 PHP 版本的外掛,但我們還是希望和 Laravel 結合的更緊密些,所以這裡選擇和 Scout 結合使用,具體用到了 tamayo/laravel-scout-elastic
外掛。
composer require tamayo/laravel-scout-elastic composer require laravel/scout php artisan vendor:publish
選擇:Laravel\Scout\ScoutServiceProvider
修改驅動為 elasticsearch
:
'driver' => env('SCOUT_DRIVER','elasticsearch'),
建立索引
建立索引有幾種方法,其中可以使用 Ela 視覺化工具 ElasticHQ 直接建立。
接下來我們需要更新這個索引,補充 Mappings 這部分,可以用 Postman。
另一種方法是用 Laravel 自帶的 Artisan 命令列功能。
這裡我們推薦使用 Artisan 命令列。
php artisan make:command ESOpenCommand
根據官網提示,我們可以在 ESOpenCommand
上向 Elasticsearch 伺服器傳送 PUT 請求,這裡藉助 Elasticsearch 提供的 PHP 外掛,在我們使用 tamayo/laravel-scout-elastic
外掛時,已經安裝了 Elasticsearch PHP 外掛:
下面就可以藉助外掛,建立我們的 Index,直接看程式碼:
public function handle() { $host = config('scout.elasticsearch.hosts'); $index = config('scout.elasticsearch.index'); $client = ClientBuilder::create()->setHosts($host)->build(); if ($client->indices()->exists(['index' => $index])) { $this->warn("Index {$index} exists,deleting..."); $client->indices()->delete(['index' => $index]); } $this->info("Creating index: {$index}"); return $client->indices()->create([ 'index' => $index,'body' => [ 'settings' => [ 'number_of_shards' => 1,'number_of_replicas' => 0 ],'mappings' => [ '_source' => [ 'enabled' => true ],'properties' => [ 'id' => [ 'type' => 'long' ],'title' => [ 'type' => 'text','analyzer' => 'ik_max_word','search_analyzer' => 'ik_smart' ],'subtitle' => [ 'type' => 'text','content' => [ 'type' => 'text','search_analyzer' => 'ik_smart' ] ],] ] ]); }
好了,我們執行 Kibana 看到我們已經建立好了 Index:
注 Kibana 本地 Docker 安裝:後續會重點說明 Kibana 如何使用
docker run -d --name kibana -e ELASTICSEARCH_HOSTS=http://elasticsearch_host -p 5601:5601 -e SERVER_NAME=ki.test kibana:7.5.2
為了驗證 Index 是否可用,可以插入一條資料看看:
curl -XPOST your_host/coding01_open/_create/1 -H 'Content-Type:application/json' -d' {"content":"中韓漁警衝突調查:韓警平均每天扣1艘中國漁船"}
可以通過瀏覽器看看對應的資料:
有了 Index,下一步我們就可以結合 Laravel,匯入、更新、查詢等操作了。
Laravel Model 使用
Laravel 框架已經為我們推薦使用 Scout 全文搜尋,我們只需要在 Article Model 加上官方所說的內容即可,很簡單,推薦大家看 Scout 使用文件:https://learnku.com/docs/laravel/6.x/scout/5191,下面直接上程式碼:
<?php namespace App; use App\Tools\Markdowner; use Illuminate\Database\Eloquent\Model; use Illuminate\Database\Eloquent\SoftDeletes; use Laravel\Scout\Searchable; class Article extends Model { use Searchable; protected $connection = 'blog'; protected $table = 'articles'; use SoftDeletes; /** * The attributes that should be mutated to dates. * * @var array */ protected $dates = ['published_at','created_at','deleted_at']; /** * The attributes that are mass assignable. * * @var array */ protected $fillable = [ 'user_id','last_user_id','category_id','title','subtitle','slug','page_image','content','meta_description','is_draft','is_original','published_at','wechat_url',]; protected $casts = [ 'content' => 'array' ]; /** * Set the content attribute. * * @param $value */ public function setContentAttribute($value) { $data = [ 'raw' => $value,'html' => (new Markdowner)->convertMarkdownToHtml($value) ]; $this->attributes['content'] = json_encode($data); } /** * 獲取模型的可搜尋資料 * * @return array */ public function toSearchableArray() { $data = [ 'id' => $this->id,'title' => $this->title,'subtitle' => $this->subtitle,'content' => $this->content['html'] ]; return $data; } public function searchableAs() { return '_doc'; } }
Scout 提供了 Artisan 命令 import 用來匯入所有已存在的記錄到搜尋索引中。
php artisan scout:import "App\Article"
看看 Kibana,已存入 12 條資料,和資料庫條數吻合。
有了資料,我們可以測試看看能不能查詢到資料。
還是一樣的,建立一個命令:
class ElasearchCommand extends Command { /** * The name and signature of the console command. * * @var string */ protected $signature = 'command:search {query}'; /** * The console command description. * * @var string */ protected $description = 'Command description'; /** * Create a new command instance. * * @return void */ public function __construct() { parent::__construct(); } /** * Execute the console command. * * @return mixed */ public function handle() { $article = Article::search($this->argument('query'))->first(); $this->info($article->title); } }
這是我的 titles,我隨便輸入一個關鍵字:「清單」,看是否能搜到。
總結
整體完成了:
- Elasticsearch 安裝;
- Elasticsearch IK 分詞器外掛安裝;
- Elasticsearch 視覺化工具 ElasticHQ 和 Kibana 的安裝和簡單使用;
- Scout 的使用;
- Elasticsearch 和 Scout 結合使用。
接下來就要將更多的內容存入 Elasticsearch 中,為自己的 blog、公眾號、自動化搜尋等場景提供全文搜尋。
參考
推薦一個命令列應用開發工具——Laravel Zero
Artisan 命令列 https://learnku.com/docs/laravel/6.x/artisan/5158
Scout 全文搜尋 https://learnku.com/docs/laravel/6.x/scout/5191
How to integrate Elasticsearch in your Laravel App – 2019 edition https://madewithlove.be/how-to-integrate-elasticsearch-in-your-laravel-app-2019-edition/
Kibana Guide https://www.elastic.co/guide/en/kibana/index.html
elasticsearch php-api [https://www.elastic.co/guide/en/elasticsearch/client/php-api/current/index.html](https://www.elastic.co/guide/en/elasticsearch/client/php-api/current/index.html)
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支援我們。