最近要搞一個查詢功能,是把hbase中的資料方便的查詢出來.之前根據rowkey的查詢方式,儘管有針對性設計過rowkey,有字首查詢,字尾查詢,以及正則查詢,但是實際上不夠用.
參考了網路上的設計,建立二級索引是比較好的思路.於是就以solr儲存hbase裡面的列索引,實現了這個功能.

需要的元件有:
1.hbase
2.solr
3.key-value store indexer
4.CDH
5.zookeeper
6.hadoop
key-value store indexer 是一個基於hbase的replication特性而實現的能夠動態的將hbase的二級索引同步給solr的元件,並且可以批量匯入索引,增量同步索引,同步時延比較小,幾乎近實時.

需要的元件看起來有些多,由於我們本來是用CDH管理元件,所以這裡也是在CDH中搭建環境的.當然,單獨安裝元件也可以,不過容易出錯,本人之前單獨安裝配置了solr,卻感覺接下來無從下手,喜歡動手的可以一試.

在CDH中安裝好以上環境.具體安裝配置,方式,CDH有介紹.
…
…

7.cdh安裝solr叢集

8.安裝key-value store indexer 叢集
…

這裡的叢集,hadoop,hbase用了4臺機器,其它的都用了3臺機器,機器數量不一致,但是zookeeper,solr機器數量最好一致,因為zookeeper叢集數量在2n+1時最為穩定.

SOLR-HBASE-INDEXER安裝

1.cdh安裝solr叢集
solr的java heap記憶體配置改成1G.

2.安裝key-value store indexer 叢集

3.Hbase表需要開啟REPLICATION複製功能

    create 'table',{NAME => 'info', REPLICATION_SCOPE => 1}

其中1表示開啟replication功能，0表示不開啟，預設為0

4.對於已經建立的表可以使用如下命令

    disable 'table' alter 'table',{NAME => 'info', REPLICATION_SCOPE => 1
 
} 

    enable 'table'

5.生成實體配置檔案, /testhbase/cdhsolr/testIndex是自定義路徑，可以自己設定

    solrctl instancedir --generate /testhbase/cdhsolr/testIndex

6.編輯生成好的scheme.xml檔案

把hbase表中需要索引的列新增到scheme.xml filed節點,其中的name屬性值要與Morphline.conf檔案中的outputField屬性值對應

<field name="COL1" type="string" indexed="true" stored="true" multiValued="false" required="true"/>

   <field name="COL2" type="string" indexed="true" stored="true" multiValued="false" required="true"/>

修改solrconfig.xml 檔案中autoCommit. 這裡還可以調整同步間隔,比如把60000改成120000.

    <autoCommit> 
       <maxTime>${solr.autoCommit.maxTime:60000}</maxTime> 
       <openSearcher>true</openSearcher> 
     </autoCommit>

7.建立collection例項並配置檔案上傳到zookeeper，命令

    solrctl instancedir --create testIndex /testhbase/cdhsolr/testIndex

8.上傳到zookeeper之後，其他節點就可以從zookeeper下載配置檔案。接下來建立collection，命令：可指定分片數和副本數量

    solrctl collection --create testIndex -s 3 -r 3 -m 50

9.在Hbase-solr的安裝目錄（cdh目錄下面）下，建立Lily HBase Indexer配置檔案morphline-hbase-mapper.xml

vi /testhbase/cdhsolr/testIndex/conf/hbase-indexer/morphline-hbase-mapper.xml

morphline-hbase-mapper.xml檔案內容:

<?xml version="1.0" encoding="UTF-8"?>
<indexer table="solr_test_table" mapper="com.ngdata.hbaseindexer.morphline.MorphlineResultToSolrMapper">
 <param name="morphlineFile" value="morphlines.conf"></param>
 <param name="morphlineId" value="testIndexMap"></param>
</indexer>

其中morphlineId 的value是對應Key-Value Store Indexer 中配置檔案Morphlines.conf 中morphlines 屬性id值
Morphlines.conf 檔案配置,下文有說明.

mkdir /testhbase/cdhsolr/testIndex/conf/hbase-indexer
    cp /testhbase/cdhsolr/hbase-indexer/morphline-hbase-mapper.xml /testhbase/cdhsolr/testIndex/conf/hbase-indexer/morphline-hbase-mapper.xml

10.修改Morphlines 檔案, 具體操作：進入Key-Value Store Indexer面板->配置->檢視和編輯->屬性-Morphline檔案,

inputColumn:Hbase的CLOUMN

outputField:Solr的Schema.XML配置的fields

morphlines : [
{
id :testIndexMap
importCommands : ["org.kitesdk.**", "com.ngdata.**"]

commands : [                    
  {
    extractHBaseCells {
    mappings : [
    {
      inputColumn : "info:COL1"
      outputField : "COL1" 
      type : string 
      source : value
    },
   {
      inputColumn : "info:COL2"
      outputField : "COL2" 
      type : string 
      source : value
    }
  ]
}
  }
  { logDebug { format : "output record: {}", args : ["@{}"] } }
]
}
]

11.註冊Lily HBase Indexer configuration 和 Lily Hbase Indexer Service

    hbase-indexer add-indexer \
    --name testIndex \
    --indexer-conf /testhbase/cdhsolr/testIndex/conf/hbase-indexer/morphline-hbase-mapper.xml \
    --connection-param solr.zk=c2:2181,c3:2181,c4:2181/solr \
    --connection-param solr.collection=testIndex \
    --zookeeper c2:2181,c3:2181,c4:2181

12.驗證索引器是否成功建立

    hbase-indexer list-indexers

如果出現下圖所示,則表示索引建立成功.

13.測試put資料檢視結果

當寫入資料後，稍過幾秒我們可以在相對於的solr中查詢到該插入的資料，表明配置已經成功

    put 'solr_test_table','r1','info:COL1','123456'

14.使用IK分詞器（這裡我下了一個solr5以上版本適用的IK jar包）

在/home/parcels/CDH/lib/solr/webapps/solr/WEB-INF建立classes目錄

把IKAnalyzer.cfg.xml 和 stopword.dic新增到classes目錄

把IKAnalyzer2012FF_u1.jar新增到/opt/cloudera/parcels/CDH/lib/solr/webapps/solr/WEB-INF/lib目錄

在Schema.xml中新增

<!--配置IK分詞器-->

 <fieldType name="text_ik" class="solr.TextField">

        <!--索引時候的分詞器-->

        <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>

        <!--查詢時候的分詞器-->
        <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

配置好後,更新ZK配置檔案,重啟solr服務

15.擴充套件命令

Scheme.xml新增索引欄位

執行以下命令更新配置:

solrctl instancedir --update testIndex /testhbase/cdhsolr/testIndex

solrctl collection --reload testIndex
hbase-indexer update-indexer -n testIndex

新增多個索引器

當你需要建立多個索引時，可以按下面說明操作。

一個solr 索引對應一個collection，一個collection對一個morphline-hbase-mapper.xml和Morphlines.conf。當需要配置多個索引時，在Morphlines.conf的morphlines節點新增對應索引模組，以id區分，如下面程式碼模組:

morphlines : [
{
id :testIndexMap
importCommands : [“org.kitesdk.“, “com.ngdata.“]

commands : [
{

extractHBaseCells {
mappings : [
{
inputColumn : “info:COL1”
outputField : “COL1”
type : string
source : value
},
{
inputColumn : “info:COL2”
outputField : “COL2”
type : string
source : value
}

]
}
}
{ logDebug { format : “output record: {}”, args : [“@{}”] } }
]
},
{
id :testIndexMap2
importCommands : [“org.kitesdk.“, “com.ngdata.“]

commands : [
{

extractHBaseCells {
mappings : [
{
inputColumn : “info2:COL1”
outputField : “COL1”
type : string
source : value
},
{
inputColumn : “info2:COL2”
outputField : “COL2”
type : string
source : value
}

]
}
}
{ logDebug { format : “output record: {}”, args : [“@{}”] } }
]
}
]

16.Hbase表資料到SOLR叢集遷移

在CDH5.3.2中Hbase-indexer提供了MapReduce來批量構建索引的方式,該MapReduce封裝在如下jar包中,只需用命令列執行:

/home/parcels/CDH-5.3.2-1.cdh5.3.2.p0.10/lib/hbase-solr/tools/hbase-indexer-mr-1.5-cdh5.3.2-job.jar

如果對一個已經存在資料的hbase表做了索引，會發現只記錄了後面插入的資料，已經存在的資料沒有索引。那麼就要將之前的資料的索引同步上。

運行同步命令需要在有morphlines.conf檔案的目錄進行。在hbase的master節點上，執行命令：

find / | grep morphlines.conf$

進入最新的那個process目錄/run/cloudera-scm-agent/process/345-ks_indexer-HBASE_INDEXER，本人是在solrcloud 的leader core所在節點上操作,當然最好找最新的process. ks_indexer-HBASE_INDEXER 前面的數字最大,表示最新.

(如果想不進入目錄執行，則在命令中加上 –morphline-file /run/cloudera-scm-agent/process/345-ks_indexer-HBASE_INDEXER/morphlines.conf，來指定目錄所在位置 )

在進入的目錄中,將morphlines.conf檔案拷到該目錄.

執行命令:

hadoop --config /etc/hadoop/conf \
jar /home/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hbase-solr/tools/hbase-indexer-mr-1.5-cdh5.12.0-job.jar \
--conf /etc/hbase/conf/hbase-site.xml \
--hbase-indexer-file /testhbase/cdhsolr/testIndex/conf/hbase-indexer/morphline-hbase-mapper.xml \
--zk-host c2:2181,c3:2181,c4:2181/solr \
--collection testIndex \
--reducers 0 \
--go-live

等待完成,這樣,hbase中的資料的二級索引就批量導進solr中.

17.解除安裝索引

solr刪除索引,一般只能一條一條的刪,當然可以寫程式批量刪除.
如果是刪除建立的testIndex索引,刪除步驟:

hbase-indexer delete-indexer -n testIndex

solrctl collection --delete testIndex

solrctl collection --list

solrctl instancedir --delete testIndex

solrctl instancedir --list

刪除hadoop上core目錄：

export HADOOP_USER_NAME=solr

hdfs dfs -rm -r /solr/*

清空回收站：

hdfs dfs -expunge

刪除索引物理目錄:

rm -rf /testhbase/cdhsolr/testIndex

以上操作是必須項.
有必要的時候,還要清理zookeeper上和solr有關（/solr）,和indexer有關（/ngdata）,和hbase有關（/hbase）

清理/var/lib/solr中建立的core目錄下面的與indexer配置相關的檔案

重啟solr-server服務,重啟Lily hbase indexer服務.

18.報錯解決思路.
執行17步驟的流程,能解決大部分錯誤.除此之外,可以刪除/tmp中跟solr有關檔案,/home/yarn/userCache中跟solr有關檔案, solr分片所在目錄中的檔案,總之,儘量先清除solr的殘餘快取,core檔案,再重啟solr,Lily hbase indexer等服務.