Solr

全文搜尋服務

1 Solr介紹

1.1 什麼是solr

Solr 是Apache下的一個頂級開源專案，採用Java開發，它是基於Lucene的全文搜尋伺服器。Solr可以獨立執行在Jetty、Tomcat等這些Servlet容器中。

Solr提供了比Lucene更為豐富的查詢語言，同時實現了可配置、可擴充套件，並對索引、搜尋效能進行了優化。

使用Solr 進行建立索引和搜尋索引的實現方法很簡單，如下：

*建立索引：客戶端（可以是瀏覽器可以是Java程式）用 POST 方法向 Solr 伺服器傳送一個描述 Field 及其內容的 XML 文件，Solr伺服器

根據xml文件新增、刪除、更新索引。

*搜尋索引：客戶端（可以是瀏覽器可以是Java程式）用 GET方法向 Solr 伺服器傳送請求，然後對Solr伺服器返回Xml、json等格式的查詢結果進行解析，組織頁面佈局。Solr不提供構建頁面UI的功能，但是Solr提供了一個管理介面，通過管理介面可以查詢Solr的配置和執行情況。

1.2 Solr和Lucene的區別

Lucene是一個開放原始碼的全文檢索引擎工具包，它不是一個完整的全文檢索應用。Lucene僅提供了完整的查詢引擎和索引引擎，目的是為軟體開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索的功能，或者以Lucene為基礎構建全文檢索應用。

Solr的目標是打造一款企業級的搜尋引擎系統，它是基於Lucene一個搜尋引擎服務，可以獨立執行，通過Solr可以非常快速的構建企業的搜尋引擎，通過Solr也可以高效的完成站內搜尋功能。

2 Solr安裝配置

2.1 下載solr

Solr和lucene的版本是同步更新的，最新的版本是5.2.1

本課程使用的版本：4.10.3

下載版本：4.10.3

Linux下需要下載lucene-4.10.3.tgz，windows下需要下載lucene-4.10.3.zip。

下載lucene-4.10.3.zip並解壓：

bin：solr的執行指令碼

contrib：solr的一些擴充套件jar包，用於增強solr的功能。

dist：該目錄包含build過程中產生的war和jar檔案，以及相關的依賴檔案。

docs：solr的API文件

example：solr工程的例子目錄：

l example/solr：

該目錄是一個標準的SolrHome，它包含一個預設的SolrCore

l example/multicore：

該目錄包含了在Solr的multicore中設定的多個Core目錄。

l example/webapps：

該目錄中包括一個solr.war，該war可作為solr的執行例項工程。

licenses：solr相關的一些許可資訊

2.2 執行環境

solr 需要執行在一個Servlet容器中，Solr4.10.3要求jdk使用1.7以上，Solr預設提供Jetty（java寫的Servlet容器），本教程使用Tocmat作為Servlet容器，相關環境如下：

l Solr：4.10.3

l Jdk環境：1.7.0_72（solr4.10 不能使用jdk1.7以下）

l Web伺服器（servlet容器）：Tomcat 7X

2.3 SolrCore配置

2.3.1 SolrHome和SolrCore

SolrHome是Solr執行的主目錄，該目錄中包括了多個SolrCore目錄。SolrCore目錄中包含了執行Solr例項所有的配置檔案和資料檔案，Solr例項就是SolrCore。

一個SolrHome可以包括多個SolrCore（Solr例項），每個SolrCore提供單獨的搜尋和索引服務。

2.3.2 目錄結構

SolrHome目錄：

SolrCore目錄：

2.3.3 建立SolrCore

建立SolrCore先要建立SolrHome。在solr解壓包下solr-4.10.3\example\solr資料夾就是一個標準的SolrHome。

l 拷貝solr解壓包下solr-4.10.3\example\solr資料夾。

l 複製該資料夾到本地的一個目錄，把檔名稱改為solrhome。

注：改名不是必須的，只是為了便於理解

l 開啟SolrHome目錄

SolrCore建立成功。

2.3.4 配置SolrCore

在conf資料夾下有一個solrconfig.xml。這個檔案是來配置SolrCore例項的相關資訊。如果使用預設配置可以不用做任何修改。它裡面包含了不少標籤，但是我們關注的標籤為：lib標籤、datadir標籤、requestHandler標籤。

2.3.4.1 lib 標籤

在solrconfig.xml中可以載入一些擴充套件的jar，solr.install.dir表示solrCore的目錄位置，需要如下修改：

然後將contrib和dist兩個目錄拷貝到E:\12-solr\0505下

2.3.4.2 datadir標籤

每個SolrCore都有自己的索引檔案目錄，預設在SolrCore目錄下的data中。

data資料目錄下包括了index索引目錄和tlog日誌檔案目錄。

如果不想使用預設的目錄也可以通過solrConfig.xml更改索引目錄，如下：

2.3.4.3 requestHandler標籤

requestHandler請求處理器，定義了索引和搜尋的訪問方式。

通過/update維護索引，可以完成索引的新增、修改、刪除操作。

提交xml、json資料完成索引維護，索引維護小節詳細介紹。

通過/select搜尋索引。

設定搜尋引數完成搜尋，搜尋引數也可以設定一些預設值，如下：

<requestHandlername="/select" class="solr.SearchHandler">

<strname="echoParams">explicit</str>

<intname="rows">10</int>

<strname="df">text</str>

</lst>

</requestHandler>

2.4 Solr工程部署

由於在專案中用到的web伺服器大多數是用的Tomcat，所以就講solr和Tomcat的整合。

2.4.1 安裝Tomcat

2.4.2 把solr.war部署到Tomcat中

1、從solr解壓包下的solr-4.10.3\example\webapps目錄中拷貝solr.war

2、複製到tomcat安裝目錄的webapps資料夾下

2.4.3 解壓縮solr.war

使用壓縮工具解壓或者啟動tomcat自動解壓。解壓之後刪除solr.war

2.4.4 新增solr服務的擴充套件依賴包（日誌包）

l 把solr解壓包下的solr-4.10.3\example\lib\ext目錄下的所有jar包拷貝。

l 複製到解壓縮後的solr工程的WEB-INF\lib目錄

2.4.5 新增log4j.properties

1、把solr解壓包下solr-4.10.3\example\resources\log4j.properties檔案進行拷貝

2、在解壓縮後的solr工程中的WEB-INF目錄中建立classes資料夾

3、複製log4j.properties檔案到剛建立的classes目錄

2.4.6 在solr應用的web.xml檔案中，載入SolrHome

修改web.xml使用jndi的方式告訴solr伺服器。

Solr/home名稱必須是固定的。

2.4.7 啟動Tomcat進行訪問

出現以下介面則說明solr安裝成功！！！

2.5 管理介面功能介紹

2.5.1 Dashboard

儀表盤，顯示了該Solr例項開始啟動執行的時間、版本、系統資源、jvm等資訊。

2.5.2 Logging

Solr執行日誌資訊

2.5.3 Cloud

Cloud即SolrCloud，即Solr雲（叢集），當使用SolrCloud模式執行時會顯示此選單，該部分功能在第二個專案，即電商專案會講解。

2.5.4 Core Admin

Solr Core的管理介面。在這裡可以新增SolrCore例項。

2.5.5 java properties

Solr在JVM 執行環境中的屬性資訊，包括類路徑、檔案編碼、jvm記憶體設定等資訊。

2.5.6 Tread Dump

顯示Solr Server中當前活躍執行緒資訊，同時也可以跟蹤執行緒執行棧資訊。

2.5.7 Core selector（重點）

選擇一個SolrCore進行詳細操作，如下：

2.5.7.1 Analysis（重點）

通過此介面可以測試索引分析器和搜尋分析器的執行情況。

注：solr中，分析器是繫結在域的型別中的。

2.5.7.2 dataimport

可以定義資料匯入處理器，從關係資料庫將資料匯入到Solr索引庫中。

預設沒有配置，需要手工配置。

2.5.7.3 Document（重點）

通過/update表示更新索引，solr預設根據id（唯一約束）域來更新Document的內容，如果根據id值搜尋不到id域則會執行新增操作，如果找到則更新。

通過此選單可以建立索引、更新索引、刪除索引等操作，介面如下：

l overwrite="true" ： solr在做索引的時候，如果文件已經存在，就用xml中的文件進行替換

l commitWithin="1000" ： solr 在做索引的時候，每個1000（1秒）毫秒，做一次文件提交。為了方便測試也可以在Document中立即提交，</doc>後新增“<commit/>”

2.5.7.4 Query（重點）

通過/select執行搜尋索引，必須指定“q”查詢條件方可搜尋。

2.6 多solrcore配置

1. 一個solr工程對外通過SorlCore 提供服務，每個SolrCore相當於一個數據庫，這個功能就相當於一個MySQL可以執行多個數據庫。

2. 將索引資料分SolrCore儲存，方便對索引資料管理維護。

3. SolrCloud叢集需要使用多core。

複製原來的core目錄為collection2，目錄結構如下：

修改collection2下的core.properties，如下：

演示多core的使用，在collection1和collection2中分別建立索引、搜尋索引。

3 solr基本使用

3.1 schema.xml

schema.xml檔案在SolrCore的conf目錄下，它是Solr資料表配置檔案，在此配置檔案中定義了域以及域的型別還有其他一些配置，在solr中域必須先定義後使用。

3.1.1 field

l Name：域的名稱

l Type：域的型別

l Indexed：是否索引

l Stored：是否儲存

l Required：是否必須

l multiValued：是否是多值，儲存多個值時設定為true，solr允許一個Field儲存多個值，比如儲存一個使用者的好友id（多個），商品的圖片（多個，大圖和小圖）

3.1.2 fieldType（域型別）

<fieldTypename="text_general"class="solr.TextField"positionIncrementGap="100">
<analyzertype="index">
<tokenizerclass="solr.StandardTokenizerFactory"/>
<filterclass="solr.StopFilterFactory"ignoreCase="true"words="stopwords.txt"/>
<!-- in this example, we will only use synonyms at query time
<filterclass="solr.SynonymFilterFactory"synonyms="index_synonyms.txt"ignoreCase="true"expand="false"/>
-->
<filterclass="solr.LowerCaseFilterFactory"/>
</analyzer>
<analyzertype="query">
<tokenizerclass="solr.StandardTokenizerFactory"/>
<filterclass="solr.StopFilterFactory"ignoreCase="true"words="stopwords.txt"/>
<filterclass="solr.SynonymFilterFactory"synonyms="synonyms.txt"ignoreCase="true"expand="true"/>
<filterclass="solr.LowerCaseFilterFactory"/>
</analyzer>
</fieldType>

l name：域型別的名稱

l class：指定域型別的solr型別。

l analyzer：指定分詞器。在FieldType定義的時候最重要的就是定義這個型別的資料在建立索引和進行查詢的時候要使用的分析器analyzer，包括分詞和過濾。

l type：index和query。Index 是建立索引，query是查詢索引。

l tokenizer：指定分詞器

l filter：指定過濾器

3.1.3 uniqueKey

相當於主鍵，每個文件中必須有一個id域。

3.1.4 copyField（複製域）

可以將多個Field複製到一個Field中，以便進行統一的檢索。當建立索引時，solr伺服器會自動的將源域的內容複製到目標域中。

l source：源域

l dest：目標域，搜尋時，指定目標域為預設搜尋域，可以提供查詢效率。

定義目標域：

必須要使用：multiValued="true"

3.1.5 dynamicField（動態域）

l Name：動態域的名稱，是一個表示式，*匹配任意字元，只要域的名稱和表示式的規則能夠匹配就可以使用。

例如：搜尋時查詢條件【product_i：鑽石】就可以匹配這個動態域，可以直接使用，不用單獨再定義一個product_i域。

3.2 配置中文分析器

使用IKAnalyzer中文分析器。

第一步：把IKAnalyzer2012FF_u1.jar新增到solr/WEB-INF/lib目錄下。

第二步：複製IKAnalyzer的配置檔案和自定義詞典和停用詞詞典到solr的classpath下。

第三步：在schema.xml中新增一個自定義的fieldType，使用中文分析器。

</fieldType>

第四步：定義field，指定field的type屬性為text_ik

第五步：重啟tomcat

測試：

3.3 配置業務field

3.3.1 需求

要使用solr實現電商網站中商品搜尋。

電商中商品資訊在mysql資料庫中儲存了，將mysql資料庫中資料在solr中建立索引。

需要在solr的schema.xml檔案定義商品Field。

3.3.2 定義步驟

先確定定義的商品document的field有哪些？

可以根據mysql資料庫中商品表的欄位來確定：

products商品表：

商品document的field包括：pid、name、catalog、catalog_name、price、description、picture

先定義Fieldtype：

solr本身提供的fieldtype型別夠用了不用定義新的了。

再定義Field：

pid：商品id主鍵

使用solr本身提供的：

name：商品名稱

catalog：商品分類

catalog_name：商品分類名稱

price：商品價格

<fieldname="product_price" type="float" indexed="true"stored="true"/>

description：商品描述

<fieldname="product_description" type="text_ik"indexed="true" stored="false"/>

picture：商品圖片

Solr 全文搜尋服務