2. 程式人生 > >PostgreSQL chinese full text search 中文全文檢索

PostgreSQL chinese full text search 中文全文檢索

阿新 • • 發佈：2018-12-25
首先要感謝amutu以及其他為中文檢索貢獻的兄弟們, 我在之前寫過一些關於PG中文全文檢索的文章, 比較繁瑣. 使用amutu的zhparser就比較方便了, 分詞的部署比以前簡單很多. 具體可參看amutu 的BLOG,  zhparserzhparser是什麼zhparser是一個PostgreSQL中文分詞的外掛，通過它，可以使PostgreSQL支援中文的全文檢索（FullTextSearch）。為什麼需要zhparser一般英語等語言分詞比較簡單，按照標點、空格切分語句即可獲得有含義的詞語，PostgreSQL自帶的parser就是按照這個原理來分詞的，比較簡單。而中文就比較複雜，詞語之間沒有空格分割，長度也不固定，怎麼分詞有時還跟語句的語義有關，因此PG自帶的parser不能用來做中文分詞。使用zhparser這個外掛，便可以使PG支援中文分詞，繼而可以使用PG做中文全文檢索。zhparser原理是什麼
zhparser用C語言實現了PostgreSQL TEXT SEARCH PARSER需要的介面，這些介面會呼叫SCWS中文分詞引擎進行分詞。 我這裡在CentOS 6.x x64和PostgreSQL 9.3.3上面測試了一下, 非常好用. #wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2#tar -jxvf scws-1.2.2.tar.bz2#cd scws-1.2.2#./configure --prefix=/opt/scws-1.2.2#make#make install#git clone https://github.com/amutu/zhparser.git
#cd zhparser/[[email protected] zhparser]# export PATH=/home/pg93/pgsql/bin:$PATH[[email protected] zhparser]# which pg_config/home/pg93/pgsql/bin/pg_config# SCWS_HOME=/opt/scws-1.2.2 make# make install[[email protected] zhparser]# su - pg93[email protected]> psqlpsql (9.3.3)Type "help" for help.
digoal=# create extension zhparser;CREATE EXTENSIONdigoal=# select * from pg_ts_parser ; prsname  | prsnamespace |  prsstart   |    prstoken     |  prsend   |  prsheadline  |  prslextype   ----------+--------------+-------------+-----------------+-----------+---------------+--------------- default  |           11 | prsd_start  | prsd_nexttoken  | prsd_end  | prsd_headline | prsd_lextype zhparser |        25956 | zhprs_start | zhprs_getlexeme | zhprs_end | prsd_headline | zhprs_lextype(2 rows)digoal=# CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);CREATE TEXT SEARCH CONFIGURATIONdigoal=#           select * from pg_ts_config where cfgname='testzhcfg';  cfgname  | cfgnamespace | cfgowner | cfgparser -----------+--------------+----------+----------- testzhcfg |        25956 |       10 |     26134(1 row)digoal=# ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple;ALTER TEXT SEARCH CONFIGURATIONdigoal=#           select * from pg_ts_config_map where mapcfg=(select oid from pg_ts_config where cfgname='testzhcfg'); mapcfg | maptokentype | mapseqno | mapdict --------+--------------+----------+---------  26135 |           97 |        1 |    3765  26135 |          101 |        1 |    3765  26135 |          105 |        1 |    3765  26135 |          108 |        1 |    3765  26135 |          110 |        1 |    3765  26135 |          118 |        1 |    3765(6 rows)SELECT * FROM ts_parse('zhparser','hello world! 2010年保障房建設在全國範圍內獲全面啟動，從中央到地方紛紛加大 了 保 障 房 的 建 設 和 投 入 力 度 。2011年，保障房進入了更大規模的建設階段。住房城鄉建設部黨組書記、部長姜偉新去年底在全國住房城鄉建設工作會議上表示，要繼續推進保障性安居工程建設。'); tokid |  token   -------+----------101| hello101| world117|!101|2010113|年118|保障110|房建118|設在110|全國110|範圍102|內118|獲97|全面118|啟動117|，110|從中118|央118|到110|地方100|紛紛118|加大118|了118|保110|障110|房117|的118|建118|設99|和118|投118|入110|力107|度117|。101|2011113|年117|，118|保障110|房118|進入118|了100|更110|大規模117|的118|建設110|階段117|。110|住房110|城鄉建設110|部黨組110|書記117|、110|部長110|姜偉新116|去年底112|在110|全國110|住房110|城鄉建設118|工作110|會議110|上表118|示117|，118|要118|繼續118|推進110|保障性118|安居110|工程建設117|。(71 rows)SELECT to_tsvector('testzhcfg','“今年保障房新開工數量雖然有所下調，但實際的年度在建規模以及竣工規模會超以往年份，相對應的對資金的需求也會創歷史紀錄。”陳國強說。在他看來，與2011年相比，2012年的保障房建設在資金配套上的壓力將更為嚴峻。');                                                                                                                                                              to_tsvector                                                                                                                                                              ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------'2011':27'2012':29'上':35'下調':7'嚴峻':37'會':14'會創':20'保障':1,30'歷史':21'壓力':36'國強':24'在建':10'實際':8'對應':17'年份':16'年度':9'開工':4'房':2'房建':31'數量':5'新':3'有所':6'相比':28'看來':26'竣工':12'紀錄':22'規模':11,13'設在':32'說':25'資金':18,33'超':15'配套':34'陳':23'需求':19(1 row)SELECT to_tsquery('testzhcfg','保障房資金壓力');           to_tsquery            ---------------------------------'保障'&'房'&'資金'&'壓力'(1 row)

相關推薦

PostgreSQL chinese full text search 中文全文檢索

首先要感謝amutu以及其他為中文檢索貢獻的兄弟們, 我在之前寫過一些關於PG中文全文檢索的文章, 比較繁瑣. 使用amutu的zhparser就比較方便了, 分詞的部署比以前簡單很多. 具體可參看amutu 的BLOG,  zhparserzhparser是什麼

iOS/Android SQLite 全文檢索——FTS (Full Text Search)

前言 我們的APP部分功能為了滿足使用者離線使用搜索的場景，使用了內建SQLite資料庫的方式，隨著內容的日益豐富，資料庫記錄快速增多，導致搜尋速度明顯變慢，為了提升搜尋速度，給我們的資料做了全文檢索的支援，在3W+的資料下，搜尋速度由原來的數秒提升至幾十到幾

MySQL中文全文檢索

arch xxxxx 異或 檢索 擁有 優秀 模糊匹配 運算 query 一、概述 MySQL全文檢索是利用查詢關鍵字和查詢列內容之間的相關度進行檢索，可以利用全文索引來提高匹配的速度。 二、語法 MATCH (col1,col2,...) AGAINS

中文全文檢索訊搜xunsearch安裝

Xunsearch （迅搜）是一套免費開源的專業中文全文檢索解決方案，簡單易用而且 功能強大、效能卓越能輕鬆處理海量資料的全文檢索。它包含後端索引、搜尋服務程式和前端 指令碼語言編寫的開發工具包(稱之為 SDK) 。下面我們開始安裝。進入linux伺服器目錄/www/wwwroot/xunsearch，輸入

AntDB安裝擴充套件UUID和中文全文檢索及部署

快速安裝AntDB 安裝擴充套件UUID和中文全文檢索 原始碼安裝ADB manager ADB manager與ADB 叢集的原始碼繫結在一起，所以編譯ADB manager，就是編譯ADB 叢集的原始碼。 下載安裝依賴： yum install

MySQL 5.7 中文全文檢索使用教程

在MySQL 5.7.6之前，全文索引只支援英文全文索引，不支援中文全文索引，需要利用分詞器把中文段落預處理拆分成單詞，然後存入資料庫。 從MySQL 5.7.6開始，MySQL內建了ngram全文解析器，用來支援中文、日文、韓文分詞。 本文使用的MySQL 版本是5.7.22，InnoDB資料

Instant, Full-Text Search Engine for Dropbox (Part 1) | Dropbox Tech Blog

Introduction With hundreds of billions of files, Dropbox has become one of the world’s largest stores of private documents, and it’s still growing stron

MongoDB資料自動同步到ElasticSearch（實現中文全文檢索）

問題-方案 1.產品需要全文檢索，資料庫是使用的MongoDB，MongoDB的全文檢索太慢，打算使用ElasticSearch 2.方案1：利用 ElasticSearch 的 River 來同步資料， 在github上有MongoDB Rive

使用PostgreSQL進行全文檢索

搜索 -a 存在 upd key 插件 大量 交流 問題搜索 * { color: #3e3e3e } body { font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei

用PostgreSQL 做實時高效 搜尋引擎 - 全文檢索、模糊查詢、正則查詢、相似查詢、ADHOC查詢

用PostgreSQL 做實時高效 搜尋引擎 - 全文檢索、模糊查詢、正則查詢、相似查詢、ADHOC查詢作者digoal 日期2017-12-05 標籤PostgreSQL , 搜尋引擎 , GIN , ranking , high light , 全文檢索 , 模糊查詢 , 正則查詢 , 相似查詢 ,

關於全文檢索不能檢索中文的問題

c#如何將txt裡的電話號碼讀取然後儲存在.csv檔案裡面畫正方形c#如何將txt裡的電話號碼讀取然後儲存在.csv檔案裡面畫正方形 新建選項卡問題C#安裝解除安裝畫面如何自定義新建選項卡問題C#安裝解除安裝畫面如何自定義 RecvStateado.net執行儲存過程比在查詢

小試debian-7.11.0-amd64+Plone5.1.2全文檢索和預覽中文WORD中文PDF

先勸誡提醒一下，沒接觸過Plone的老鐵們最好就不要往下看了，哈哈。易度的老潘寫的兩篇文章講透了Zope/Plone有多糟心 （知乎上的）https://www.zhihu.com/question/19649024 （豆瓣上的）https://www.douban.com

學習筆記:從0開始學習大資料-29. solr增加ik中文分詞器並匯入doc，pdf文件全文檢索

環境 centos7,solr7.5.0 1. 新建core 從  solr-7.5.0/example/files/conf 作為配置檔案模板，建立core，名為mycore 2.下載分詞器 從https://search.maven.org/search?q=g:com

淘淘商城22_全文檢索_ik中文分詞器02_solr的增刪改查

一. 建立solr資料庫，匯入資料 如何匯入資料庫這裡就不再贅述了 百度網盤： 連結：https://pan.baidu.com/s/1qtdadvsR6Cy6281DfGFx7Q  提取碼：6w14    二. 設定業務系統Field

全文檢索Lucene（三）--中文分詞與高亮顯示

一、中文分詞smartcn 二、檢索結果高亮顯示實現        首先，建立maven專案，新增相關依賴。<dependencies> <dependency> <groupId>org.apache.lucene</g

SharePoint 2007 Full Text Searching PowerShell and CS file content with SharePoint Search

　　1. Ensure your site or shared folder in one Content Source. 　　2. Add file types. 　　 　　 　　3. The second step in getting the file extensions recognised

全文檢索技術學習(三)——Lucene支援中文分詞

分析器（Analyzer）的執行過程 如下圖是語彙單元的生成過程： 從一個Reader字元流開始，建立一個基於Reader的Tokenizer分詞器，經過三個TokenFilter生成語彙單元Token。 要看分析器的分析效果，只需要看TokenStr

全文檢索工具迅搜的安裝和體驗（可用於自建中文全文搜尋引擎）

1、Ubuntu環境下安裝：    1)LNMP安裝：參考https://lnmp.org/install.html      #wget -c http://mirrors.duapp.com/lnmp/lnmp1.3-full.tar.gz && tar

【搜尋引擎】 PostgreSQL 10 實時全文檢索和分詞、相似搜尋、模糊匹配實現類似Google搜尋自動提示

需求分析 要通過PostgreSQL實現類似Google搜尋自動提示的功能,例如要實現一個查詢海量資料中的商品名字，每次輸入就提示使用者各種相關搜尋選項，例如淘寶、京東等電商查詢 思路 這個功能可以用 PostgreSQL的實時全文檢索和分詞、相似搜尋、前模糊匹配等特性實現。具體策略是，定義一個搜尋提示的最大

在ef core中使用postgres資料庫的全文檢索功能實戰之中文支援

前言 有關通用的postgres資料庫全文檢索在ef core中的使用方法，參見我的上一篇文章。 本文實踐了zhparser中文外掛進行全文檢索。 準備工作 安裝外掛，最方便的方法是直接使用安裝好外掛的docker映象，比如 docker pull chenxinaz/zhparser 該映象的postgre