從零開始學習MySQL全文索引
目錄
- 一、為什麼要用全文索引
- 二、什麼是全文索引
- 三、如何建立全文索引
- 四、建立測試資料
- 五、查詢-使用自然語言模式
- 六、查詢-使用布林模式（強大的語法）
- 語法
- 示例
- 七、查詢-使用擴充套件模式
- 八、注意事項
一、為什麼要用全文索引
我們在用一個東西前，得知道為什麼要用它，使用全文索引無非有以下原因
- like查詢太慢、json欄位查詢太慢（車太慢了）
- 沒時間引入ElasticSearch、Solr或者Sphinx這樣的軟體，或者根本就不會用（無法將五菱巨集光換成蘭博基尼，即使有蘭博基尼也不會開）
- 加索引、聯合索引啥的都已經慢得不行了（限速80，車頂蓋都卸了也只能開到30）
- 為了提升一下自己的逼格（人家問你有沒有開過法拉利，你說開過肯定更有氣質一點）
二、什麼是全文索引
簡單的說，全文索引就相當於大詞典中的目錄，通過查詢目錄可以快速定位到想看的內容。
全文索引通過建立倒排索引來快速匹配文件（僅在mysql5.6版本以上支援）
全文索引將連續的字母、數字和下劃線當做一個單詞，分割單詞一般用空格/逗號/句號
MySQL的全文索引支援以下3種查詢模式：
- 自然語言模式（
IN NATURAL LANGUAGE MODE）
通過MATCH AGAINST 傳遞某個特定的字串來進行檢索 - 布林模式（
IN BOOLEAN MODE）
支援操作符，例如+表示包含，-表示不包含 - 擴充套件模式（
WITH QUERY EXPANSION）
相當於自然語言模式下的一個擴充套件，執行兩次檢索，第一次使用給定短語檢索，第二次是結合第一次相關性比較高的行進行檢索.
更多請看：官方文件
下面教大家如何建立全文索引，並建立測試資料演示三種查詢模式的使用
三、如何建立全文索引
- 方式一：建表時指定
CREATE TABLE light_weight_baby ( id INT AUTO_INCREMENT NOT NULL PRIMARY KEY, title VARCHAR(200), content TEXT, FULLTEXT(title, content) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ;
- 方式二：ALTER新增
ALTER TABLE table_name ADD FULLTEXT INDEX index_name (column1,column2,...);- 方式三：CRATE INDEX新增
CREATE FULLTEXT INDEX index_name ON table_name (column1,column2,...);四、建立測試資料
建立一個數據庫用來演示這三種模式下的檢索
CREATE DATABASE chenqionghe DEFAULT CHARSET utf8;建立一個文章表並插入測試資料
CREATE TABLE articles (
id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
title VARCHAR(200),
body TEXT,
FULLTEXT (title,body)
) ENGINE=InnoDB;插入測試資料
INSERT INTO articles (title,body) VALUES
('MySQL Tutorial','DBMS stands for DataBase ...'),
('How To Use MySQL Well','After you went through a ...'),
('Optimizing MySQL','In this tutorial we will show ...'),
('1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
('MySQL vs. YourSQL','In the following database comparison ...'),
('MySQL Security','When configured properly, MySQL ...');執行結果如下
五、查詢-使用自然語言模式
這是MySQL的預設查詢模式，簡單示例如下
SELECT * FROM articles
WHERE MATCH (title,body)
AGAINST ('database' IN NATURAL LANGUAGE MODE);
可以看到，不區分大小寫，title或body包含database的都返回了，另外，返回的結果將以相關性進行排序。
相關性：根據行中的欄位、唯一單詞的數量、集合中單詞總數和包含特定單詞的行數計算。
下面通過兩種方式統計數量
# 第一種方式
SELECT COUNT(*) FROM articles
WHERE MATCH (title,body)
AGAINST ('database' IN NATURAL LANGUAGE MODE);
# 第二種方式
SELECT
COUNT(IF(MATCH (title,body) AGAINST ('database' IN NATURAL LANGUAGE MODE), 1, NULL))
AS count
FROM articles;
第一種做了一些額外的工作（按相關性對結果進行排序），但也能使用索引進行查詢。
第二種執行了全表掃描，如果搜尋項出現在大多數行中，可能比索引查詢更快
匹配少數行，第一種快，匹配大多數行，第二種快
下面演示如何檢索相關性，但不會進行排序（因為不包含WHERE和ORDER BY）
SELECT id, MATCH (title,body)
AGAINST ('Tutorial' IN NATURAL LANGUAGE MODE) AS score
FROM articles;
下面的示例更復雜，返回倒序後的相關性值，分別在SELECT和WHERE語句中使用了MATCH，但是不會導致額外的開銷，因為mysql優化器注意到兩次MATCH是相同的，只會使用一次全文搜尋
SELECT id, body, MATCH (title,body) AGAINST
('Security implications of running MySQL as root'
IN NATURAL LANGUAGE MODE) AS score
FROM articles WHERE MATCH (title,body) AGAINST
('Security implications of running MySQL as root'
IN NATURAL LANGUAGE MODE);
包含在("")中字元中的會被分解為單詞，然後在全文索引中進行搜尋，簡單的說，就是進行OR查詢。
六、查詢-使用布林模式（強大的語法）
使用布林模式需要指定IN BOOLEAN MODE，不會自動根據相關性排序，一些字元具有特殊的含義，例如可以通過+或-表示一個單詞必須存在或不存在。
下面的sql語句代表查詢必須 包含MySQL但不包含YourSQL
SELECT * FROM articles WHERE MATCH (title,body)
AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);
語法
+
必須出現-
必須不出現。
注意：這個操作符是用來排除其他操作符的結果，如果只指定這個，將什麼都不返回- 無符號
預設情況，代表或，自動分詞搜尋。和沒有指定IN BOOLEAN MODE的結果一樣 @distance
用來測試兩個或兩個以上的單詞是否都在一個指定的距離內，在@距離前指定雙引號中的搜尋詞，例如MATCH(col1) AGAINST('"word1 word2 word3" @8' IN BOOLEAN MODE>
提高該條匹配資料的權重值<
降低該條匹配資料的權重值()
相當於表示式分組，和我們數學中的表示式一個道理~
將其相關性由正轉負，表示擁有該字會降低相關性，例如+apple ~macintosh先匹配apple，但如果同時包含macintosh，排名會靠後*
萬用字元，只能在字串後面使用"
完全匹配，被雙引號包起來的單詞必須整個被匹配
示例
apple banana
包含apple或banana其中一個+apple +juice
必須同時包含apple和juice+apple macintosh
包含apple，但是如果同時包含macintosh會給更高的排序+apple -macintosh
包信apple但是不包含macintosh+apple ~macintosh
包含apple，如果同時包含macintosh降低權重+apple +(>turnover <strudel)
1.包含apple和turnover，或，包含apple和strudel
2.包含apple和turnover權重高於包含apple和strudel的記錄apple*
包含apple單詞的行， “apple”, “apples”, “applesauce”, “applet”都會被匹配到"some words"
完全匹配some words的行，例如 “some words of wisdom”能匹配但“some noise words”匹配不到
七、查詢-使用擴充套件模式
當搜尋短語很短時非常有用，例如搜尋database可能意味著MySQL、Oracle、DB2、RDBMS都要被匹配到，這就是這個模式能做的。
新增WITH QUERY EXPANSION或 IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION啟用，它會執行兩次檢索，第一次使用給定短語檢索，第二次是結合第一次相關性比較高的行進行檢索。
例如下面的例子
# 自然語言模式
SELECT * FROM articles
WHERE MATCH (title,body)
AGAINST ('database' IN NATURAL LANGUAGE MODE);
# 擴充套件模式
SELECT * FROM articles
WHERE MATCH (title,body)
AGAINST ('database' WITH QUERY EXPANSION);
可以看到第二條語句找到了包含MySQL的行，即使該行不包含database，但是因為在第一次的搜尋中搜索引擎判斷MySQL和database的相關性比較高，所以在執第二次搜尋的時候返回了。
八、注意事項
- 只能在型別為CHAR、VARCHAR或者TEXT的欄位上建立全文索引2.
- MATCH (欄位) AGAINST (關鍵詞)，必須和建立時的欄位一起，例如MATCH (light,weight,baby)使用的欄位名與全文索引muscle(light,weight,baby)定義的欄位名一致。如果只對單個欄位查詢，需要分別建立全文索引
- 全文索引是以詞為基礎的，
innodb_ft_min_token_size和innodb_ft_max_token_size用來設定單詞的最大和最小長度，不在這個長度區間的將忽略。 - 在停用詞stopwords中的將被忽略
- 如果要匯入大量資料，先匯入資料再建全文索引，比先建全文索引再匯入資料的方式快很多。
- 在MySQL 5.7.6之前，全文索引只支援英文全文索引，不支援中文全文索引，MySQL 5.7.6後內建了ngram全文解析器，支援中文、日文、韓文分詞。