2. 程式人生 > >MySQL全文索引功能

MySQL全文索引功能

阿新 • • 發佈：2018-12-07

官網地址:https://dev.mysql.com/doc/refman/5.7/en/fulltext-search.html

說明

  1. 簡介
    1).MySQL中的全文索引是FultLeXT型別的索引。
    2).全文索引只能用於InnoDB或MyISAM表，只能為CHAR、VARCHAR或文字列建立。
    3).在MySQL 5.7.6中，MySQL提供了支援中文、日文和韓文（CJK）的內建全文ngram解析器，以及用於日文的可安裝MeCab全文解析器外掛
    4).當建立表時，可以在CREATE TABLE語句中給出FULLTEXT索引定義，或者稍後使用ALTER TABLE或CREATE INDEX新增該定義。
    5).對於大型資料集，將資料載入到沒有FULLTEXT索引的表中然後建立索引要比將資料載入到具有現有FULLTEXT索引的表中快得多。

  2. 查詢語法結構

MATCH (col1,col2,...) AGAINST (expr [search_modifier])
search_modifier:
  {
       IN NATURAL LANGUAGE MODE
     | IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION
     | IN BOOLEAN MODE
     | WITH QUERY EXPANSION
  }

3.全文索引的三種類型

  1. 自然語言搜尋將搜尋字串解釋為自然語言中短語。
  2. 布林全文搜尋
  3. 查詢擴充套件搜尋

自然語言全文索引

例子1，簡單使用

CREATE SCHEMA `fulltextsearches` DEFAULT CHARACTER SET utf8 ;
mysql> CREATE TABLE articles (
          id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
          title VARCHAR(200),
          body TEXT,
          FULLTEXT (title,body)
        ) ENGINE=InnoDB;
Query OK, 0 rows affected (0.08
 
 sec)

mysql> INSERT INTO articles (title,body) VALUES
        ('MySQL Tutorial','DBMS stands for DataBase ...'),
        ('How To Use MySQL Well','After you went through a ...'),
        ('Optimizing MySQL','In this tutorial we will show ...'),
        ('1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
        ('MySQL vs. YourSQL','In the following database comparison ...'),
        ('MySQL Security','When configured properly, MySQL ...');
Query OK, 6 rows affected (0.01 sec)
Records: 6  Duplicates: 0  Warnings: 0

mysql> SELECT * FROM articles
        WHERE MATCH (title,body)
        AGAINST ('database' IN NATURAL LANGUAGE MODE);
+----+-------------------+------------------------------------------+
| id | title             | body                                     |
+----+-------------------+------------------------------------------+
|  1 | MySQL Tutorial    | DBMS stands for DataBase ...             |
|  5 | MySQL vs. YourSQL | In the following database comparison ... |
+----+-------------------+------------------------------------------+
2 rows in set (0.00 sec)

SELECT COUNT(*) FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' IN NATURAL LANGUAGE MODE);
+----------+
| COUNT(*) |
+----------+
|        2 |
+----------+
1 row in set (0.00 sec)

說明：
對於自然語言全文搜尋，MATCH()函式中命名的列必須與表中一些FULLTEXT索引中包括的列相同。對於前面的查詢，請注意，MATCH()函式中命名的列（title和body）與文章表的FULLTEXT索引的定義中命名的列相同。要分別搜尋標題或正文，您將為每個列建立單獨的全文索引。
例子2：演示如何顯式檢索相關值

SELECT id, MATCH (title,body)
    AGAINST ('Tutorial' IN NATURAL LANGUAGE MODE) AS score
    FROM articles;
+----+---------------------+
| id | score               |
+----+---------------------+
|  1 | 0.22764469683170319 |
|  2 |                   0 |
|  3 | 0.22764469683170319 |
|  4 |                   0 |
|  5 |                   0 |
|  6 |                   0 |
+----+---------------------+
6 rows in set (0.00 sec)

例子3：
查詢返回相關值，並且按照降低相關性的順序排序行。為了實現這個結果，指定Match（）兩次：一次在SELECT列表中，一次在WHERE子句中。這不會導致額外的開銷，因為MySQL優化器注意到兩個MATCH()呼叫是相同的，並且只調用一次全文搜尋程式碼。

SELECT id, body, MATCH (title,body) AGAINST
    ('Security implications of running MySQL as root'
    IN NATURAL LANGUAGE MODE) AS score
    FROM articles WHERE MATCH (title,body) AGAINST
    ('Security implications of running MySQL as root'
    IN NATURAL LANGUAGE MODE);

這裡寫圖片描述

布林全文索引

例子1：簡單使用

SELECT * FROM articles WHERE MATCH (title,body)
    AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);
+----+-----------------------+-------------------------------------+
| id | title                 | body                                |
+----+-----------------------+-------------------------------------+
|  1 | MySQL Tutorial        | DBMS stands for DataBase ...        |
|  2 | How To Use MySQL Well | After you went through a ...        |
|  3 | Optimizing MySQL      | In this tutorial we will show ...   |
|  4 | 1001 MySQL Tricks     | 1. Never run mysqld as root. 2. ... |
|  6 | MySQL Security        | When configured properly, MySQL ... |
+----+-----------------------+-------------------------------------+

支援的運算子

  1. +：表示該單詞必須出現在返回的每一行中。（字首或者字尾，但InnoDB只能放到前面）
  2. -：表示該單詞不能出現在返回的任何行中。（字首或者字尾，但InnoDB只能放到前面）
  3. no operator：該單詞是可選的，但包含它的行評分較高。
  4. @distance：僅InnoDB支援，測試兩個或者兩個以上的單詞是不是都一定距離開始， for example, MATCH(col1) AGAINST(‘“word1 word2 word3” @8’ IN BOOLEAN MODE)
  5. > <：這兩個運算子用於改變單詞對分配給行的相關值的貢獻。>操作符增加貢獻，<操作符減少它
  6. ( )：括號將單詞分組成子表示式。括號組可以巢狀。
  7. ~：單詞對當前的匹配行貢獻是負的
  8. *：單詞匹配萬用字元，但也受InnoDB表的innodb_ft_min_token_size設定或MyISAM表的ft_min_word_len的影響。
  9. “：匹配按字面意義包含該短語的行

相關性計算

TF-IDF 公式
這裡寫圖片描述

mysql> CREATE TABLE articles (
id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
title VARCHAR(200),
body TEXT,
FULLTEXT (title,body)
) ENGINE=InnoDB;
Query OK, 0 rows affected (1.04 sec)

mysql> INSERT INTO articles (title,body) VALUES
('MySQL Tutorial','This database tutorial ...'),
("How To Use MySQL",'After you went through a ...'),
('Optimizing Your Database','In this database tutorial ...'),
('MySQL vs. YourSQL','When comparing databases ...'),
('MySQL Security','When configured properly, MySQL ...'),
('Database, Database, Database','database database database'),
('1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
('MySQL Full-Text Indexes', 'MySQL fulltext indexes use a ..');                  
Query OK, 8 rows affected (0.06 sec)
Records: 8  Duplicates: 0  Warnings: 0

mysql> SELECT id, title, body, MATCH (title,body)  AGAINST ('database' IN BOOLEAN MODE)
AS score FROM articles ORDER BY score DESC;
+----+------------------------------+-------------------------------------+---------------------+
| id | title                        | body                                | score               |
+----+------------------------------+-------------------------------------+---------------------+
|  6 | Database, Database, Database | database database database          |  1.0886961221694946 |
|  3 | Optimizing Your Database     | In this database tutorial ...       | 0.36289870738983154 |
|  1 | MySQL Tutorial               | This database tutorial ...          | 0.18144935369491577 |
|  2 | How To Use MySQL             | After you went through a ...        |                   0 |
|  4 | MySQL vs. YourSQL            | When comparing databases ...        |                   0 |
|  5 | MySQL Security               | When configured properly, MySQL ... |                   0 |
|  7 | 1001 MySQL Tricks            | 1. Never run mysqld as root. 2. ... |                   0 |
|  8 | MySQL Full-Text Indexes      | MySQL fulltext indexes use a ..     |                   0 |
+----+------------------------------+-------------------------------------+---------------------+
8 rows in set (0.00 sec)

結果：
共有8個記錄，其中3個匹配“資料庫”搜尋項。第一記錄（ID 6）包含搜尋項6次，並且具有1.0886961221694946的相關性排序。使用TF值6（在記錄id 6中“資料庫”搜尋項出現6次）和IDF值0.42596873216370745（其中8是記錄的總數，3是搜尋項出現的記錄數）來計算該排名值：

${IDF} = log10( 8 / 3 ) = 0.42596873216370745

${rank} = ${TF} * ${IDF} * ${IDF}

mysql> SELECT 6*log10(8/3)*log10(8/3);
+-------------------------+
| 6*log10(8/3)*log10(8/3) |
+-------------------------+
|       1.088696164686938 |
+-------------------------+
1 row in set (0.00 sec)

這裡寫圖片描述

擴充套件查詢

當搜尋短語太短時，這通常很有用，這通常意味著使用者依賴於全文搜尋引擎缺乏的隱含知識。例如，搜尋“database”的使用者可能真的意味著“MySQL”、“Oracle”、“DB2”和“RDBMS”都是應該與“database”匹配並且也應該返回的短語。

例子：

mysql> SELECT * FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' IN NATURAL LANGUAGE MODE);
+----+-------------------+------------------------------------------+
| id | title             | body                                     |
+----+-------------------+------------------------------------------+
|  1 | MySQL Tutorial    | DBMS stands for DataBase ...             |
|  5 | MySQL vs. YourSQL | In the following database comparison ... |
+----+-------------------+------------------------------------------+
2 rows in set (0.00 sec)

mysql> SELECT * FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' WITH QUERY EXPANSION);
+----+-----------------------+------------------------------------------+
| id | title                 | body                                     |
+----+-----------------------+------------------------------------------+
|  5 | MySQL vs. YourSQL     | In the following database comparison ... |
|  1 | MySQL Tutorial        | DBMS stands for DataBase ...             |
|  3 | Optimizing MySQL      | In this tutorial we will show ...        |
|  6 | MySQL Security        | When configured properly, MySQL ...      |
|  2 | How To Use MySQL Well | After you went through a ...             |
|  4 | 1001 MySQL Tricks     | 1. Never run mysqld as root. 2. ...      |
+----+-----------------------+------------------------------------------+
6 rows in set (0.00 sec)

相關推薦

MySQL全文索引功能

說明 自然語言全文索引 布林全文索引 相關性計算 擴充套件查詢 官網地址:https://dev.mysql.com/doc/refman/5

mysql全文索引之模糊查詢

http mysql5 var innodb 沒有 null into user 測試數據 舊版的MySQL的全文索引只能用在MyISAM表格的char、varchar和text的字段上。 不過新版的MySQL5.6.24上InnoDB引擎也加入了全文索引，所以具體信息大家

mysql 全文索引fulltext初始

1.建立全文索引(FullText index)        舊版的MySQL的全文索引只能用在MyISAM表格的char、varchar和text的欄位上。         不過新版的MySQL5.6.24上InnoDB引擎也加入了全文索引，所以具體資訊要隨時關注

Mysql全文索引之-深入理解原理

我們前面介紹過mysql全文檢索的一個外掛Onesql,瞭解了全文檢索其實Mysql的Innodb引擎預設也是支援全文檢索的，只支援英文。其背後的原理都是倒排索引本文預設Mysql支援的全文檢索倒排索引 倒排索引跟B+樹一樣，也是一種資料結構。一般利用關聯陣列，在輔助表中儲存

mysql全文索引使用方法

一、設定全文索引： 新增：ALTER TABLE table_name ADD FULLTEXT ( column); 刪除：DROP INDEX index_name ON table_nam

Java for Web學習筆記（一二三）：搜尋（5）MySQL全文索引（下）

小例子我們在表格Ticket和TicketComment中加入了fulltext key。小例子在Ticket的Subject或Body，以及在TicketComment的Body檢索內容，按分頁方式顯示出來，同時顯示關聯分數，並按關聯分數降序排列。 -- Ticket中隊S

MySQL全文索引Match Against與Like比較

[原文地址：http://blog.csdn.net/zyz511919766/article/details/12780173] 1.概要 InnoDB引擎對FULLTEXT索引的支援是MySQL5.6新引入的特性，之前只有MyISAM引擎支援FULLTEXT索引。對

MYSQL全文索引—CONTAINS語法

我們通常在 WHERE 子句中使用 CONTAINS ，就象這樣：SELECT * FROM table_name WHERE CONTAINS(fullText_column,'search contents')。 我們通過例子來學習，假設有表 students，其中的 address 是全文字檢索的列

MySQL 全文索引實現簡單版搜尋引擎

目錄 前言 使用 三種類型的全文搜尋方式 相關引數 測試innodb引擎使用全文索引 準備 使用預設方式建立全文索引 使用ngram分詞解析器建

從零開始學習MySQL全文索引

目錄 一、為什麼要用全文索引 二、什麼是全文索引 三、如何建立全文索引 四、建立測試資料 五、查詢-使用自然語言模式 六、查詢-使用布林模式（強大的語法） 語法

MySQL全文索引、聯合索引、like查詢、json查詢速度大比拼

目錄 查詢背景 一、like查詢 二、json函式查詢 三、聯合索引查詢 四、全文索引查詢 結論 查詢背景 有一個表tmp_test_course

Sphinx 死文克斯 聯合Mysql實現中文全文索引

工程 查詢 connect 日誌文件 最大的 操作 高級 就會 max 　　　　　　　　PHP高級工程師之Sphinx中文全文索引 　　　　在這裏和大家分享一下Mysql5.5以後支持的全文索引Sphinx安裝配置和運行概念。 　　　　如有不善,多提意見（QQ：159506

MySQL創建全文索引

標題 忽略 可能 使用 指定字段 分詞 set 語法 where 使用索引時數據庫性能優化的必備技能之一。在MySql數據庫中，有四種索引：聚焦索引（主鍵索引）、普通索引、唯一索引以及我們這裏將要介紹的全文索引（FUNLLTEXT INDEX）。 全文索引（也稱全文檢索

MySQL索引功能

write 成本 指針 同時 要求 掃描 rup 函數 唯一性 MySQL索引功能 1.索引的作用 大大大加快數據的檢索速度和增加查詢的效率 降低磁盤I/O成本 保證數據記錄的唯一性 使得應用於表的SQL語句執行的更快 2.索引簡述 在關系數據庫中，索引是一種單獨的

Mysql的全文索引遇到的坑

Mysql的FULLTEXT索引總結： 1、一張表只能建立一個FULLTEXT索引,建立語句為： ALTER TABLE tablename ADD FULLTEXT INDEX idx_full_text_all(field1,field2..) with parser ngram; wi

mysql　索引的使用之中文全文索引

這裡討論的是 mysql 5.7 InnoDB 全文索引，在mysql 5.6 之前的版本中，myisam 支援全文索引而InnoDB 是不支援的，而且　mysql 全文索引對中文的支援也不太友好，所以一般採用其它方案去替代。一般的替代方案是 sphinx 或者 elasticSearch 。

mysql百萬級全文索引及match快速查詢

建立全文索引的表的儲存引擎型別必須為MyISAM 問題是match   against對中文模糊搜尋支援不是太好 新建一個utf8 MyISAM型別的表並建立一個全文索引  ： CREATE TABLE articles (     id INT UNSIGNED AUTO_INCREMENT NOT NU

MySQL使用全文索引(fulltext index)

轉載：https://blog.csdn.net/u011734144/article/details/52817766 1.建立全文索引(FullText index)        舊版的MySQL的全文索引只

MySQL 5.7 InnoDB中文全文索引測試

從MySQL 5.7.6開始，MySQL內建了ngram全文檢索外掛，用來支援中文分詞，並且對MyISAM和InnoDB引擎有效。在全文索引中，ngram就是一段文字裡面連續的n個字的序列。本文將對MySQL5.7的中文全文索引做簡單測試。中文全文索引測試 在使用中文檢索分

使用全文索引技術實現高效的like模糊查詢功能

曾經在工作中遇到了一個難辦的問題：我們有一個表大概有50萬條資料，其中有一個欄位是字串型別需要實現like 模糊查詢，我們使用的是MySQL，雖然已經建立了索引，但是由於使用的是%a%模式匹配，很不給力，在大量併發下，資料庫會掛掉，或者使用者等到抓狂查詢結果還不出來，後來