2. 程式人生 > >Solr叢集版安裝使用

Solr叢集版安裝使用

阿新 • • 發佈：2018-11-10

1 課程計劃

第七天：

  1. solr叢集搭建
  2. 使用solrj管理solr叢集
  3. 把搜尋功能切換到叢集版

2 什麼是SolrCloud

SolrCloud(solr 雲)是Solr提供的分散式搜尋方案，當你需要大規模，容錯，分散式索引和檢索能力時使用 SolrCloud。當一個系統的索引資料量少的時候是不需要使用SolrCloud的，當索引量很大，搜尋請求併發很高，這時需要使用SolrCloud來滿足這些需求。

 SolrCloud是基於Solr和Zookeeper的分散式搜尋方案，它的主要思想是使用Zookeeper作為叢集的配置資訊中心。

它有幾個特色功能：

1）集中式的配置資訊

2）自動容錯

3）近實時搜尋

4）查詢時自動負載均衡

3 Solr叢集的系統架構

3.1 物理結構

三個Solr例項（ 每個例項包括兩個Core），組成一個SolrCloud。

3.2 邏輯結構

索引集合包括兩個Shard（shard1和shard2），shard1和shard2分別由三個Core組成，其中一個Leader兩個Replication，Leader是由zookeeper選舉產生，zookeeper控制每個shard上三個Core的索引資料一致，解決高可用問題。

使用者發起索引請求分別從shard1和shard2上獲取，解決高併發問題。

3.2.1 collection

Collection在SolrCloud叢集中是一個邏輯意義上的完整的索引結構。它常常被劃分為一個或多個Shard（分片），它們使用相同的配置資訊。

比如：針對商品資訊搜尋可以建立一個collection。

 collection=shard1+shard2+....+shardX

3.2.2 Core

每個Core是Solr中一個獨立執行單位，提供 索引和搜尋服務。一個shard需要由一個Core或多個Core組成。由於collection由多個shard組成所以collection一般由多個core組成。

3.2.3 Master或Slave

Master是master-slave結構中的主結點（通常說主伺服器），Slave是master-slave結構中的從結點（通常說從伺服器或備伺服器）。同一個Shard下master和slave儲存的資料是一致的，這是為了達到高可用目的。

3.2.4 Shard

Collection的邏輯分片。每個Shard被化成一個或者多個replication，通過選舉確定哪個是Leader。

簡單理解：伺服器a下的core資料不同。不同伺服器（主備，1臺伺服器等於1份資料）跟一個伺服器a的資料一樣。同個shard的資料相同（主備，從不同的伺服器取相同的core）。不同shard的資料不同（不同的shard取不同的core）。

3.3 需要實現的solr叢集架構

Zookeeper作為叢集的管理工具。

  1. 叢集管理：容錯、負載均衡。
  2. 配置檔案的集中管理
  3. 叢集的入口

 

需要實現zookeeper 高可用。需要搭建叢集。建議是奇數節點。需要三個zookeeper伺服器。

 

搭建solr叢集需要7臺伺服器。

 

搭建偽分散式：

需要三個zookeeper節點

需要四個tomcat節點。

 

建議虛擬機器的內容1G以上。

4 環境準備

    CentOS-6.5-i386-bin-DVD1.iso

    jdk-7u72-linux-i586.tar.gz

    apache-tomcat-7.0.47.tar.gz

    zookeeper-3.4.6.tar.gz

    solr-4.10.3.tgz

5 安裝步驟

5.1 Zookeeper叢集搭建

第一步：需要安裝jdk環境。

第二步：把zookeeper、tomcat、的壓縮包I和K Analyzer 2012FF_hf1檔案上傳到伺服器。

第三步：解壓縮。

[[email protected] ~]# tar zxf zookeeper-3.4.6.tar.gz 

第四步：把zookeeper複製三份。

[[email protected] ~]# mkdir /usr/local/solr-cloud

[[email protected] ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01

[[email protected]host ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02

[[email protected] ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03

[[email protected] ~]# cd /usr/local/solr-cloud

第五步：在每個zookeeper目錄下建立一個data目錄。

[[email protected] solr-cloud]# cd zookeeper01

[[email protected] zookeeper01]# mkdir data

第六步：在data目錄下建立一個myid檔案，檔名就叫做“myid”。內容就是每個例項的id。例如1、2、3

[[email protected] zookeeper01]# cd data

[[email protected] data]# touch myid

[[email protected] data]# vim myid

[[email protected] data]# echo 1 >> myid

[[email protected] data]# ll

total 4

-rw-r--r--. 1 root root 2 Apr  7 18:23 myid

[[email protected] data]# cat myid

1

第七步：修改配置檔案。把conf目錄下的zoo_sample.cfg檔案改名為zoo.cfg

[[email protected] data]# cd ..

[[email protected] zookeeper01]# cd conf

[[email protected] conf]# cp zoo_sample.cfg zoo.cfg

[[email protected] conf]# vim zoo.cfg 

修改dataDir為建立的data目錄路徑加：

server.1=192.168.25.154:2881:3881

server.2=192.168.25.154:2882:3882

server.3=192.168.25.154:2883:3883

zookeeper配置過程：

[[email protected] conf]# cd ..

[[email protected] zookeeper01]# cd ..

[[email protected] solr-cloud]# mkdir zookeeper02/data

[[email protected] solr-cloud]# cd zookeeper02/data

[[email protected] data]# echo 2 >myid

[[email protected] data]# cat myid

[[email protected] data]# cd ..

[[email protected] zookeeper02]# cd conf

[[email protected] conf]# cp zoo_sample.cfg zoo.cfg

[[email protected] conf]# vim zoo.cfg 

[[email protected] conf]# cd ..

[[email protected] zookeeper02]# cd ../zookeeper03

[[email protected] zookeeper03]# mkdir data

[[email protected] zookeeper03]# echo 3 >data/myid

[[email protected] zookeeper03]# cat data/myid

[[email protected] zookeeper03]# cd conf

[[email protected] conf]# cp zoo_sample.cfg zoo.cfg

[[email protected] conf]# vim zoo.cfg 

第八步：啟動每個zookeeper例項。

啟動bin/zkServer.sh start

[[email protected] conf]# cd ..

[[email protected] zookeeper03]# cd ..

[[email protected] solr-cloud]# vim start-all.sh

[[email protected] solr-cloud]# chmod u+x start-all.sh

[[email protected] solr-cloud]# ./start-all.sh 

檢視zookeeper的狀態：

[[email protected] solr-cloud]# zookeeper01/bin/zkServer.sh status

[[email protected] solr-cloud]# zookeeper02/bin/zkServer.sh status

[[email protected] solr-cloud]# zookeeper03/bin/zkServer.sh status

上面因zookeeper01最下面的配置寫錯了

配置成功為下圖：

關閉zookeeper：

[[email protected] solr-cloud]# cd /usr/local/solr-cloud/zookeeper01/bin

[[email protected] bin]# ./zkServer.sh stop

5.2 Solr叢集的搭建

第一步：建立四個tomcat例項。每個tomcat執行在不同的埠。8180、8280、8380、8480

[[email protected] ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat01

[[email protected] ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat02

[[email protected] ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat03

[[email protected] ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat04

第二步：部署solr的war包。把單機版的solr工程複製到叢集中的tomcat中。

[[email protected] ~]# cd /usr/local/solr-cloud/

[[email protected] solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat01/webapps/

[[email protected] solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat02/webapps/

[[email protected] solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat03/webapps/

[[email protected] solr-cloud]# cp -r ../solr/tomcat/webapps/solr/ tomcat04/webapps/

[[email protected] solr-cloud]# vim tomcat01/conf/server.xml 

修改tomcat埠號：

修改4個tomcat的埠號

第三步：為每個solr例項建立一個對應的solrhome。使用單機版的solrhome複製四份。

[[email protected] solr-cloud]# cp -r ../solr/solrhome/ solrhome01

[[email protected] solr-cloud]# cp -r ../solr/solrhome/ solrhome02

[[email protected] solr-cloud]# cp -r ../solr/solrhome/ solrhome03

[[email protected] solr-cloud]# cp -r ../solr/solrhome/ solrhome04

第四步：需要修改solr的web.xml檔案。把solrhome關聯起來。

[[email protected] solr-cloud]# vim tomcat01/webapps/solr/WEB-INF/web.xml

[[email protected] solr-cloud]# vim tomcat02/webapps/solr/WEB-INF/web.xml

修改4臺tomcat的solrhome路徑

第五步：配置solrCloud相關的配置。每個solrhome下都有一個solr.xml，把其中的ip及埠號配置好。

[[email protected] solr-cloud]# cd solrhome01

[[email protected] solrhome01]# vim solr.xml 

[[email protected] solrhome01]# cd ..

[[email protected] solr-cloud]# vim solrhome02/solr.xml 

[[email protected] solr-cloud]# vim solrhome03/solr.xml 

[[email protected] solr-cloud]# vim solrhome04/solr.xml

修改4臺tomcat的solrhome執行ip埠

第六步：修改tomcat/bin目錄下的catalina.sh 檔案，關聯solr和zookeeper（跳過第六步先操作第七步）。

[[email protected] solr-cloud]# cd tomcat01/bin

[[email protected] bin]# vim catalina.sh

搜尋JAVA_OPTS，在第一個使用的位置之前，把此配置新增到配置檔案中：

JAVA_OPTS="-DzkHost=192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183"

[[email protected] bin]# cd ../..

[[email protected] solr-cloud]# vim tomcat02/bin/catalina.sh

[[email protected] solr-cloud]# vim tomcat03/bin/catalina.sh

[[email protected] solr-cloud]# vim tomcat04/bin/catalina.sh

第七步：讓zookeeper統一管理配置檔案。需要把solrhome/collection1/conf目錄上傳到zookeeper。上傳任意solrhome中的配置檔案即可。

[[email protected] solr-4.10.3]# cd /root/solr-4.10.3/example/scripts/cloud-scripts

使用工具上傳配置檔案：

[[email protected] solr-4.10.3]#./zkcli.sh -zkhost 192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

 

檢視zookeeper上的配置檔案：

使用zookeeper目錄下的bin/zkCli.sh命令檢視zookeeper上的配置檔案：

[[email protected] zookeeper01]# cd /usr/local/solr-cloud/zookeeper01/bin

直接執行下面的命令為本地的：

[[email protected] bin]# ./zkCli.sh

指定ip埠號連線：

[[email protected] bin]# ./zkCli.sh -server 192.168.25.166:2182

輸入以下命令：

[zk: localhost:2181(CONNECTED) 0] ls /

[configs, zookeeper]

[zk: localhost:2181(CONNECTED) 1] ls /configs

[myconf]

[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf

[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt, _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, _schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]

[zk: localhost:2181(CONNECTED) 3]

退出：

[zk: localhost:2181(CONNECTED) 3] quit

使用以下命令連線指定的zookeeper服務：

./zkCli.sh -server 192.168.25.154:2183

06.回顧視訊講解

 

第八步：啟動每個tomcat例項。要包裝zookeeper叢集是啟動狀態。

[[email protected] solr-cloud]# vim start-tomcat-all.sh

[[email protected] solr-cloud]# chmod u+x start-tomcat-all.sh 

[[email protected] solr-cloud]# ./start-tomcat-all.sh 

[[email protected] ~]# tail -f /usr/local/solr-cloud/tomcat01/logs/catalina.out

第九步：訪問叢集

http://192.168.25.166:8180/solr/

第十步：建立新的Collection進行分片處理。

http://192.168.25.166:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

 

 

第十一步：刪除不用的Collection。

http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1

 

 

6 使用solrJ管理叢集

6.1 新增文件

使用步驟：

第一步：把solrJ相關的jar包新增到工程中。

第二步：建立一個SolrServer物件，需要使用CloudSolrServer子類。構造方法的引數是zookeeper的地址列表。

第三步：需要設定DefaultCollection屬性。

第四步：建立一SolrInputDocument物件。

第五步：向文件物件中新增域

第六步：把文件物件寫入索引庫。

第七步：提交。

@Test

      public void testSolrCloudAddDocument() throws Exception {

            // 第一步：把solrJ相關的jar包新增到工程中。

            // 第二步：建立一個SolrServer物件，需要使用CloudSolrServer子類。構造方法的引數是zookeeper的地址列表。

            //引數是zookeeper的地址列表，使用逗號分隔

            CloudSolrServer solrServer = new CloudSolrServer("192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183");

            // 第三步：需要設定DefaultCollection屬性。

            solrServer.setDefaultCollection("collection2");

            // 第四步：建立一SolrInputDocument物件。

            SolrInputDocument document = new SolrInputDocument();

            // 第五步：向文件物件中新增域

            document.addField("item_title", "測試商品");

            document.addField("item_price", "100");

            document.addField("id", "test001");

            // 第六步：把文件物件寫入索引庫。

            solrServer.add(document);

            // 第七步：提交。

            solrServer.commit();

 

      }

 

6.2 查詢文件

建立一個CloudSolrServer物件，其他處理和單機版一致。

7 把搜尋功能切換到叢集版

修改搜尋工程配置檔案applicationContext-solr.xml

<?xml version="1.0" encoding="UTF-8"?>

<beans xmlns="http://www.springframework.org/schema/beans"

      xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p"

      xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"

      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

      xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans4.2.xsd

      http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context4.2.xsd

      http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx4.2.xsd

      http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util4.2.xsd">

 

      <!-- 單機版solr服務配置 -->

      <!-- <bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">

            <constructor-arg name="baseURL" value="http://192.168.25.154:8080/solr"></constructor-arg>

      </bean> -->

      <!-- 叢集版solr服務 -->

      <bean id="cloudSolrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">

            <constructor-arg name="zkHost" value="192.168.25.166:2181,192.168.25.166:2182,192.168.25.166:2183"></constructor-arg>   

            <property name="defaultCollection" value="collection2"></property>

      </bean>

</beans>

8 全域性異常處理

8.1 處理思路

8.2 建立全域性異常處理器

引入log4j.properties配置檔案

引入log4j的兩個jar包

在e3-search-web建立異常處理類

public class GlobalExceptionReslover implements HandlerExceptionResolver {

 

      Logger logger = LoggerFactory.getLogger(GlobalExceptionReslover.class);

     

      @Override

      public ModelAndView resolveException(HttpServletRequest request, HttpServletResponse response, Object handler,

                  Exception ex) {

            //寫日誌檔案

            logger.error("系統發生異常", ex);

            //發郵件、發簡訊

            //Jmail：可以查詢相關的資料

            //需要在購買簡訊。呼叫第三方介面即可。

            //展示錯誤頁面

            ModelAndView modelAndView = new ModelAndView();

            modelAndView.addObject("message", "系統發生異常，請稍後重試");

            modelAndView.setViewName("error/exception");

            return modelAndView;

      }

 

}

 

8.3 Springmvc中配置異常處理器

相關推薦

Solr叢集版安裝使用

1 課程計劃 第七天： solr叢集搭建 使用solrj管理solr叢集 把搜尋功能切換到叢集版 2 什麼是SolrCloud SolrCloud(solr 雲)是Solr提供的分散式搜尋方案，當你需要大規模，容錯，分散式索引和檢索能力時使用 Solr

Redis5.0.3單機版安裝以及叢集版安裝

轉載請表明出處 https://blog.csdn.net/Amor_Leo/article/details/85143011 謝謝 Redis單機版安裝以及叢集版安裝 Redis單機安裝 建立一個目錄 進入建立的目錄

solr安裝（叢集版）

           solr 什麼時候搭建叢集？ 當我們搜尋系統訪問量過大的時候，solr索引量過大的時候我們就需要搭建solr叢集。 怎麼搭建叢集？ 在搭建叢集之前，我們需要明白幾個名詞 Collection:Collection在solr叢集中是一個邏輯上

Linux-Centos6.8安裝redis-4.0.10 官方叢集版

可參考 http://www.cnblogs.com/frankdeng/p/9332618.html 1.下載安裝包 http://download.redis.io/releases/redis-4.0.10.tar.gz wget http://download.re

Solr叢集搭建詳細教程（一） Linux伺服器上安裝JDK小白教程

注：歡迎大家轉載，非商業用途請在醒目位置註明本文連結和作者名dijia478，商業用途請聯絡本人[email protected]。 一、Solr叢集的系統架構 SolrCloud(solr 雲)是Solr提供的分散式搜尋方案，當你需要大規模，容錯，分散式索引和檢索能力時使用 SolrCloud

solr叢集安裝部署

一、安裝部署zookeeper叢集 zookeeper叢集 二、solr叢集部署 叢集配置 IP | 節點名稱 | 環境 --- | --- | --- 192.168.137.128 | 192.168.137.128 | jdk1.8, zookeeper3.4.13, solr7.5.0 192.

Linux安裝Tomcat-Nginx-FastDFS-Redis-Solr-叢集——【第九集-補充-之安裝iptables】

  1，安裝完了jdk，tomcat，啟動tomcat的bin/startup.sh後，發現在瀏覽器輸入公網ip地址和tomcat的預設（server.xml）中的埠port：8080，無法訪問，這主要是因為防火牆沒有關閉導致的。 　　可以通過設定iptables檔案來讓埠不收防火牆限制。 2

Linux安裝Tomcat-Nginx-FastDFS-Redis-Solr-叢集——【第九集-補充-之安裝mariadb】

由於也是第一次安裝，再此不必獻醜了，貼上參考連結： 1，指導我為什麼使用mariadb而不是用mysql：https://blog.csdn.net/liumiaocn/article/details/56665800 2，配置mariadb： 　　https://blog.csdn.net/xings

Solr單機版簡介和安裝以及Spring boot整合使用

目錄     一、簡單介紹solr    二、solr安裝    三、分析器安裝    四、全量匯入、增量匯入  &n

Hbase的安裝與部署（叢集版）

HBase 部署與使用 部署 Zookeeper 正常部署 $ ~/modules/zookeeper-3.4.5/bin/zkServer.sh start 首先保證 Zookeeper 叢集的正常部署，並啟動之： Hadoop 正常部署 $ ~/modules/hadoop-2.7.2/sbi

Solr（二）叢集版

SolrCloud(solr 雲)是Solr提供的分散式搜尋方案，當你需要大規模，容錯，分散式索引和檢索能力時使用 SolrCloud。當一個系統的索引資料量少的時候是不需要使用SolrCloud的，當索引量很大，搜尋請求併發很高，這時需要使用SolrCloud來滿足這些需求。  So

轉載mongodb單機版安裝及叢集安裝

一，mongodb單機版安裝 1,下載linux版本的mongodb https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.6.tgz 2，通過ftp上傳，我這邊是傳到/data/program/soft

solr單機版、叢集版整合spring

一、引言 今個起個大早，陽光依舊耀眼，趕緊把solr剩下未完成的結束掉。solr單機版、叢集版咱們都已經搭建好了，之前solr單機版也使用java中的solrj來維護索引庫，那麼今天講下solr叢集版

Linux安裝Tomcat-Nginx-FastDFS-Redis-Solr-叢集——【第九集-補充-之安裝jdk】

1，安裝JDK，本來想安裝jdk8的，但是考慮到tomcat安裝的是tomcat7，怕出現版本不相容的情況，就改安裝jdk7 　　去官網下載jdk-7u80-linux-x64.tar.gz的二進位制檔案，注意必須是linux版本的，32位還是64位根據情況而定 　　通過xftp上傳到linux後臺： 　　　

Docker安裝單機版redis5和叢集版redis5

轉載請表明出處 https://blog.csdn.net/Amor_Leo/article/details/85147086 謝謝 Docker安裝單機版redis5和叢集版redis5 單機Redis 搜尋redis 拉取r

mongodb單機版安裝及叢集安裝

一，mongodb單機版安裝1,下載linux版本的mongodbhttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.6.tgz2，通過ftp上傳，我這邊是傳到/data/program/software這個目錄

zookeeper-kafka（叢集版）安裝部署以及java呼叫工具類

        Kafka安裝部署文件 ■ 文件版本 V1.0 ■ 作業系統 CentOS Linux release 7.3.1611

Zookeeper的安裝單機版和叢集版

自己寫部落格,很大一部分原因是因為自己安裝過的軟體也老是忘記安裝步驟,每次都是百度的,寫下來供自己參考,當然,有什麼不足的地方,請大神批評指正!!!!!都是搞技術的,有錯指出來就行,歡迎各位騷擾!!!! Zookeeper的單機版安裝 從官網上下載zookeeper的安裝

solr 叢集安裝

因為叢集至少四臺伺服器，兩個叢集兩個備份。偽分散式：改的時埠號，應該改不同的ip linux tomcat 複製4份嶄新的tomcat cp -r /root/solr/apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat

【三】storm安裝高可用HA叢集版

環境ubuntu16.04jdk1.8安裝python3(2或3都行)安裝zookeeper3.4.9安裝使用storm1.1.1解壓tar -zxvf apache-storm-1.1.1.tar.gz修改名字mv apache-storm-1.1.1 storm新增環境變