2. 程式人生 > >教你編譯除錯Elasticsearch 6.3.2原始碼

教你編譯除錯Elasticsearch 6.3.2原始碼

阿新 • • 發佈：2019-01-09

前言

想深入理解 Elasticsearch，閱讀它的原始碼是很有必要的，一來可以瞭解它內部的具體實現，有助於調優，二來可以瞭解優秀開源專案的程式碼架構，提高我們的程式碼架構能力等

閱讀Elasticsearch原始碼的第一步是搭建除錯環境，然後作者在這個過程中遇到很多麻煩，在網上找不到想要的答案，歷經千辛最後一一解決，所以記錄下，幫助有需要的童鞋

軟體環境

  • 作業系統：win7
  • Elasticsearch 原始碼版本: 6.3.2
  • JDK版本： 10.0.2
  • Gradle版本： 4.7
  • Intellij Idea版本： 2018.2

環境準備及工程匯入

1.安裝JDK

Elasticsearch 6.3.2需要JDK1.9編譯，否則後面步驟會報錯。

作者裝的是 JDK 10.0.2

2.下載Elasticsearch原始碼，並且切換到6.3.2分支

git checkout v6.3.2

3.下載gradle的安裝包

檢視 elasticsearch\gradle\wrapper\gradle-wrapper.properties 發現如下配置：

distributionUrl=https://services.gradle.org/distributions/gradle-4.5-all.zip

注意：由於國內網速問題，為了加快速度，進行第4步操作

4.拷貝檔案

將下載的gradle-4.5-all.zip包放到 elasticsearch\gradle\wrapper

目錄下，
確保和 elasticsearch\gradle\wrapper\gradle-wrapper.properties 在同級目錄，
然後修改 elasticsearch\gradle\wrapper\gradle-wrapper.properties 配置如下：

distributionUrl=gradle-4.5-all.zip

5.修改原始碼Maven倉庫地址

國內下載國外倉庫的jar包速度慢，需要替換Maven地址，設定為本地或者國內可用的Maven倉庫。

需要修改下列檔案的 maven URL 配置：

  • elasticsearch\benchmarks\build.gradle
  • elasticsearch\client\benchmark\build.gradle

修改原始碼中上面build.gradle檔案裡面的repositories-maven-url的值，
配置為可用的倉庫地址，譬如修改為阿里雲maven地址 http://maven.aliyun.com/nexus/content/groups/public/，修改示例如下：

buildscript {
    repositories {
        maven {
            url 'http://maven.aliyun.com/nexus/content/groups/public/'
        }
    }
    dependencies {
        classpath 'com.github.jengelman.gradle.plugins:shadow:2.0.2'
    }
}

6.修改全域性Maven倉庫地址

在USER_HOME/.gradle/下面建立新檔案 init.gradle，輸入下面的內容並儲存。

allprojects{
    repositories {
        def REPOSITORY_URL = 'http://maven.aliyun.com/nexus/content/groups/public/'
        all {
            ArtifactRepository repo ->
    if (repo instanceof MavenArtifactRepository) {
                def url = repo.url.toString()
                if (url.startsWith('https://repo.maven.org/maven2') || url.startsWith('https://jcenter.bintray.com/')) {
                    project.logger.lifecycle "Repository ${repo.url} replaced by $REPOSITORY_URL."
                    remove repo
                }
            }
        }
        maven {
            url REPOSITORY_URL
        }
    }
}

其中USER_HOME/.gradle/是自己的gradle安裝目錄，示例值：C:\Users\Administrator\.gradle，
如果沒有.gradle目錄，可用自己建立，或者先執行第7步，等gradle安裝後再回來修改。
上面指令碼把url匹配到的倉庫都替換成了阿里雲的倉庫，
如果有未匹配到的導致編譯失敗，可用自己仿照著新增匹配條件。

7.gradle編譯原始碼

windows執行cmd，進入DOS命令列，然後切換到elasticsearch原始碼的根目錄，執行如下命令，把elasticsearch編譯為 idea 工程：

gradlew idea

編譯失敗則按照錯誤資訊解決問題，可用使用如下命令幫助定位問題：

gradlew idea -info
gradlew idea -debug

一般是Maven倉庫地址不可用導致jar包無法下載，從而編譯失敗，此時請參考步驟5和6修改相關的倉庫地址。

編譯成功後列印日誌：

BUILD SUCCESSFUL in 1m 23s

8. idea 匯入elasticsearch工程

idea 中 File -> New Project From Existing Sources 選擇你下載的 Elasticsearch 根目錄，然後點 open ，之後 Import project from external model -> Gradle , 選中 Use auto-import, 然後就可以了

匯入進去後，gradle 又會編譯一遍，需要等一會，好了之後如下：

IDEA匯入Elasticsearch6.3.2之後

執行，開始 solve error 模式

前面的步驟都挺順利，接下來遇到的 ERROR & EXCEPTION 讓作者耗費了好幾天，心力交瘁，好在最終執行成功

在 elasticsearch/server/src/main/org/elasticsearch/bootstrap 下找到Elasticsearch的啟動類 Elasticsearch.java，開啟檔案，右鍵 Run Elasticsearch.main()，執行main方法

1、 報錯如下：

ERROR: the system property [es.path.conf] must be set

這是需要配置 es.path.conf 引數，我們先在 elasticsearch 原始碼目錄下新建一個 home 目錄，然後在 https://www.elastic.co/downloads/elasticsearch 下載一個同版本號的 Elasticsearch6.3.2 發行版，解壓，將 config 目錄拷貝到 home 目錄中

然後開啟 Edit Configurations，在 VM options 加入如下配置：

Edit Configurations

-Des.path.conf=D:\elasticsearch-6.3.2\home\config

再次執行 Run Elasticsearch.main()

2、報錯如下：

Exception in thread "main" java.lang.IllegalStateException: path.home is not configured
    at org.elasticsearch.env.Environment.<init>(Environment.java:103)
...

需要配置 path.home 這個引數，在 VM options 中新增如下配置：

-Des.path.home=D:\elasticsearch-6.3.2

再次RUN

3、報錯如下：

2018-08-22 15:07:17,094 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
...

Caused by: java.nio.file.NoSuchFileException: D:\elasticsearch-6.3.2\modules\aggs-matrix-stats\plugin-descriptor.properties
...

在 VM options 中把 path.home 的值修改為如下：

-Des.path.home=D:\elasticsearch-6.3.2\home

然後把 ES6.3.2 發行版中的 modules 資料夾複製到 home 目錄下，然後再次RUN

4、報錯如下：

2018-08-22 15:12:29,876 main ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
...

在 VM options 中加入

-Dlog4j2.disable.jmx=true

1、2、3、4 的配置最終如下：

image

再次RUN

5、報錯如下：

[2018-08-23T00:53:17,003][ERROR][o.e.b.ElasticsearchUncaughtExceptionHandler] [] fatal error in thread [main], exiting
java.lang.NoClassDefFoundError: org/elasticsearch/plugins/ExtendedPluginsClassLoader
    at org.elasticsearch.plugins.PluginsService.loadBundle(PluginsService.java:632) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.loadBundles(PluginsService.java:557) ~[main/:?]
    at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:162) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:311) ~[main/:?]
    at org.elasticsearch.node.Node.<init>(Node.java:252) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[main/:?]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:326) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[main/:?]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[main/:?]
Caused by: java.lang.ClassNotFoundException: org.elasticsearch.plugins.ExtendedPluginsClassLoader
    at jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:582) ~[?:?]
    at jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:190) ~[?:?]
    at java.lang.ClassLoader.loadClass(ClassLoader.java:499) ~[?:?]
    ... 15 more

這個問題其實不算真正的問題，但是說起來挺好笑，為了解決這個問題耗費了作者好幾天，當最後發現問題所在的時候，哭笑不得 \~_\~ 正是所謂的 踏破鐵鞋無覓處，得來全不費工夫

解決方法： 開啟 IDEA Edit Configurations ，給 Include dependencies with Provided scope 打上勾即可解決，很簡單吧！！

image

繼續RUN，又來一個 Exception

6、報錯如下：

[2018-08-23T01:13:38,551][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "createClassLoader")
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[main/:?]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[main/:?]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[main/:?]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[main/:?]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[main/:?]
Caused by: java.security.AccessControlException: access denied ("java.lang.RuntimePermission" "createClassLoader")
    at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472) ~[?:?]
    at java.security.AccessController.checkPermission(AccessController.java:895) ~[?:?]
    at java.lang.SecurityManager.checkPermission(SecurityManager.java:335) ~[?:?]
    at java.lang.SecurityManager.checkCreateClassLoader(SecurityManager.java:397) ~[?:?]
...

Exception: java.security.AccessControlException thrown from the UncaughtExceptionHandler in thread "Thread-2"

這個問題也找了挺久，最終才發現解決方法（兩種）：

第一種： 在 home/config 目錄下新建 java.policy 檔案，填入下面內容

grant {
    permission java.lang.RuntimePermission "createClassLoader";
};

然後在 VM options 加入 java.security.policy 的設定，指向該檔案即可

-Djava.security.policy=D:\elasticsearch-6.3.2\home\config\java.policy

第二種： 就是在 %JAVA_HOME%/conf/security 目錄下（JDK10是這個路徑，之前的版本不確定），我的目錄是 C:\Program Files\Java\jdk-10.0.2\conf\security，開啟 java.policy 檔案，在 grant 中加入下面這句，賦予許可權

permission java.lang.RuntimePermission "createClassLoader";

效果如下：

java.policy
createClassLoader

再RUN，這次可終於執行起來了！！！

來看一下效果，瀏覽器訪問 http://localhost:9200/

image1

瀏覽器訪問 http://localhost:9200/_cat/health?v

image

一切正常，終於可以愉快的 DEBUG 原始碼啦！！！

另一種原始碼除錯方式：遠端除錯

如果上面第五個報錯之後解決不了無法繼續進行，可以選擇這種方式:

在 Elasticsearch 原始碼目錄下開啟 CMD，輸入下面的命令啟動一個 debug 例項

gradlew run --debug-jvm

如果啟動失敗可能需要先執行 gradlew clean 再 gradlew run --debug-jvm 或者 先退出 IDEA

image

在 IDEA 中開啟 Edit Configurations，新增 remote

image

配置 host 和 port

image

點選 debug，瀏覽器訪問 http://localhost:9200/，即可看到ES返回的資訊

隨機除錯一下， 開啟 elasticsearch/server/src/main/org/elasticsearch/rest/action/cat 下的 RestHealthAction 類，在第 54 行出設定一個斷點，然後瀏覽器訪問 http://localhost:9200/_cat/health，可以看到斷點已經捕獲到該請求了

image

執行成功，可以開始設定斷點進行其他除錯

其他可能遇到的問題

1. 錯誤資訊如下

JAVA8_HOME required to run tasks gradle

配置環境變數 JAVA8_HOME，值為 JDK8 的安裝目錄

2. 錯誤資訊如下

[2018-08-22T13:07:23,197][INFO ][o.e.t.TransportService   ] [EFQliuV] publish_address {10.100.99.118:9300}, bound_addresses {[::]:9300}
[2018-08-22T13:07:23,211][INFO ][o.e.b.BootstrapChecks    ] [EFQliuV] bound or publishing to a non-loopback address, enforcing bootstrap checks
ERROR: [1] bootstrap checks failed
[1]: initial heap size [268435456] not equal to maximum heap size [4273995776]; this can cause resize pauses and prevents mlockall from locking the entire heap
[2018-08-22T13:07:23,219][INFO ][o.e.n.Node               ] [EFQliuV] stopping ...
2018-08-22 13:07:23,269 Thread-2 ERROR No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system property 'log4j2.debug' to show Log4j2 internal initialization logging.
Disconnected from the target VM, address: '127.0.0.1:5272', transport: 'socket'

在 Edit Configurations 的 VM options 加入下面配置

-Xms2g 
-Xmx2g

開啟微信掃一掃，關注【小旋鋒】微信公眾號，及時接收博文推送

小旋鋒的微信公眾號

相關推薦

教你編譯除錯Elasticsearch 6.3.2原始碼

前言 想深入理解 Elasticsearch，閱讀它的原始碼是很有必要的，一來可以瞭解它內部的具體實現，有助於調優，二來可以瞭解優秀開源專案的程式碼架構，提高我們的程式碼架構能力等 閱讀Elasticsearch原始碼的第一步是搭建除錯環境，然後作者在這個過

elasticsearch 6.3.2 + Ubuntu16.04 Ubuntu18.04 叢集搭建問題一覽

配置3個節點的elasticsearch叢集，遇到問題如下： 問題一 ERROR: bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, i

CentOS 7.3下安裝最新版ElasticSearch 6.3.2

elasticsearch簡介 ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文檢索引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放原始碼釋出，是當前流行的企業級搜尋引擎。設計用於雲端計算

ElasticSearch-6.3.2 linux 安裝

min nap wap 原因 tst exceptio transport ken 表示 前提先在linux 安裝好jdk1.8 創建用戶 從5.0開始，ElasticSearch 安全級別提高了，不允許采用root帳號啟動，所以我們要添加一個用戶 1 創建 ela

Spark 2.3.2原始碼編譯，支援hadoop-2.6.0-cdh5.15.0

前置準備&軟體安裝 spark2.3.2原始碼官方Apache下載地址： http://spark.apache.org/downloads.html 編譯spark原始碼的官方Apache參考文件 http://spark.apache.org/docs/2.3.2/b

windows 7 elasticsearch-5.3.2

runtime dice log ron mode logs sports line bat # windows 7 elasticsearch-5.3.2 D:\nescafe\elasticsearch-5.3.2\bin λ java -version java v

ELK 6.3.2 安裝

machine desc pro trace check pch stop disable oracle wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.rpm ta

Elasticsearch 6.3 head插件安裝

taobao source usr elastic pre search sea local github wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.4.7-linux-x64.tar.gz t

Elasticsearch-6.4.2 在 Java中的簡單連線

Elasticsearch版本為：Elasticsearch-6.4.2 1、主要應用包檔案： <!-- Elasticsearch核心依賴包 --> <dependency> <groupId>o

易學筆記-系統分析師考試-第6章 系統配置與效能評價/6.3 輸入輸出系統/6.3.2 匯流排

匯流排 概念：是一組能為多個部件共享、分時的公共資訊傳送線路 共享：總線上可以連線多個部件，各個部件之間的通訊通過這組公共線路傳送 分時 同一個時刻，只允許同一個部件向匯流排傳送訊息 同一個時刻，允許多個部件接收匯流排資訊 分類 按匯流排相對於CPU或

CentOS7編譯安裝Python3.6.3

1、先解決依賴 # yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-d

手把手教你構建 C 語言編譯器（2）

本章是“手把手教你構建 C 語言編譯器”系列的第三篇，本章我們要構建一臺虛擬的電腦，設計我們自己的指令集，執行我們的指令集，說得通俗一點就是自己實現一套匯編語言。它們將作為我們的編譯器最終輸出的目的碼。 手把手教你構建 C 語言編譯器系列共有10個部分： #計算機的內部工作原理 計算機中有三個基本部件需要

Spark2.3.2原始碼解析： 6. SparkContext原始碼分析（一） ： SparkEnv

    SparkContext 是通往 Spark 叢集的唯一入口，可以用來在 Spark 叢集中建立 RDDs 、 累加器（ Accumulators ）和廣播變數（ Broadcast Variables ） 。 SparkContext 也是整個 Spark 應用程式（

手把手教你整合maven+spring專案（2）

在上一篇部落格裡，講解了如何新建Maven專案，今天在我們將會在上一篇部落格的基礎上，整合springmvc，本篇部落格適合新手入門springmvc，下面將開始今天的正文； 第一步：新增包com.zds,並新增controller、dao、service各包， 然後，修改pom.xml，新

linux 安裝elasticsearch 6.4.2叢集

解壓壓縮包到 /usr/local/ 新增使用者和組 # groupadd es # useradd es -g es -p elasticssearch # chown -R es:es elasticsearch-6.4.2 在安裝目錄下建立logs和data目錄並授予許可

elasticsearch-6.1.2安裝配置維護

參考手冊：https://cloud.tencent.com/developer/article/1011050 es版本： 1. 3臺6.1.2的版本的作ES叢集用於日誌和報表,安裝外掛如下: a. elasticsearch-analysis-ik 6.1.2 b. E

elasticsearch 6.4.2 linux 安裝以及問題

1、安裝elasticsearch 官網下載 下載得到壓縮包 解壓 #tar -zxvf elasticsearch-6.4.2.tar.gz #mv elasticsearch-6.4.2 /usr/local/elasticsearch #cd /usr/l

windows下安裝elasticsearch-6.4.2和elasticsearch-head外掛

1.配置elasticsearch 修改一下es使用的引數。編輯config/elasticsearch.yml： # 換個叢集的名字，免得跟別人的叢集混在一起 cluster.name: gqm # 換個節點名字 node.name: node-001 #

java elasticsearch 6.4.2 client

<dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <

手把手教你編譯Flutter engine

歡迎關注姊妹篇《手把手教你解決flutter engine記憶體洩漏》 flutter已經到了1.0了，小夥伴還沒有使用的趕緊試試吧，如果想更深入的把玩，可以嘗試編譯一下官方的flutter engine，地址在 github.com/flutter/eng… 為什麼要編譯engine