spark整合es遇到Guava jar包衝突問題:java.lang.NoSuchMethodError

阿新 • • 發佈：2019-01-12

錯誤資訊：

Caused by: java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecutor()Ljava/util/concurrent/Executor;
  at org.elasticsearch.threadpool.ThreadPool.<clinit>(ThreadPool.java:190)
  at org.elasticsearch.client.transport.TransportClient$Builder.build(TransportClient.java 
:133)
  at org.springframework.data.elasticsearch.client.TransportClientFactoryBean.buildClient(TransportClientFactoryBean.java:89)
  at org.springframework.data.elasticsearch.client.TransportClientFactoryBean.afterPropertiesSet(TransportClientFactoryBean.java:85)
  at org.springframework.beans.factory 
.support.AbstractAutowireCapableBeanFactory.invokeInitMethods(AbstractAutowireCapableBeanFactory.java:1637)
  at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1574)
  ... 56 more

通過前三行錯誤資訊可以看到是找不到某個方法，這種問題一種可能性是缺失jar包，一種可能性是jar包衝突,我這裡是jar包衝突。
解決過程
根據報錯資訊找到相關jar，可以看出是guava的jar衝突
於是開始排除guava
在intellij idea的Maven projects 中搜索和Guava相關jar，如下圖
這裡寫圖片描述

可以看到專案有很多地方依賴guava,選擇一個後回車，可以看到這個guava的版本，雙擊後還可以進入當前jar所在的pom檔案。如果想排除這個jar,就如下操作
這裡寫圖片描述
這樣pom檔案也會同步修改，如此步驟依次排除，直到最後剩下自己滿意的。
我排除之後。將專案打包，上傳到spark叢集.然後執行。很鬱悶，還是同樣的問題。
明明我的Guava jar中是有這個方法的，但為何老是找不到呢。在經過一段時間思考後還是沒有發現問題的原因，於是找到同事一起討論這個問題，後來發現，spark容器也依賴了Guava, 而其依賴的版本是1.4 。而es 中依賴的Guava 是1.8 ，在1.8的jar中是有那個方法的，但1.4中卻是沒有的，這也就解釋了為何在專案中把Guava該排的都排除了卻依然有問題。於是將spark叢集中的Guava jar替換掉，重新執行專案，可以正常執行。

問題總結：
1，解決問題時，考慮問題不夠全面
在排除專案中可能的衝突jar後，依然有這個問題，就應該把思維發散出去，考慮一下其它有可能導致jar衝突的可能性。
2，解決問題時如果沒有思路，就從頭到尾梳理專案執行的整個流程，每個細節都不要忽略，你會發現，往往是一些你沒有注意到的地方導致的問題的發生，而我們卻把精力放在了別處，方向錯了，終點遙不可期。
3，如何讓spark引用專案中指定的jar,這將是我們接下來需要解決的問題，由於剛剛接觸spark，這塊需要去分析下。
問題延伸：
如下錯誤可能是jar包衝突：

1.java.lang.NoSuchMethodError
2.java.lang.ClassNotFoundException
3.java.lang.NoClassDefFoundError

Jar 衝突排除方法：
1，通過intellij idea 去排除，方法同上
2，通過maven命令檢視依賴資訊，手動排除，例如

mvn dependency:tree | grep guava

這裡寫圖片描述

spark整合es遇到Guava jar包衝突問題:java.lang.NoSuchMethodError

spark整合es遇到Guava jar包衝突問題:java.lang.NoSuchMethodError

執行jar包出現java.lang.NoSuchMethodError錯誤

因缺少jedis.jar包報"java.lang.NoSuchMethodError: redis.clients.jedis.JedisPool..."問題

spark on yarn執行產生jar包衝突問題

Hadoop 運行jar包時 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found

java -jar 執行jar包出現 java.lang.NoClassDefFoundError

Spring boot Elasticsearch整合遇到Guava版本的坑 java.lang.NoSuchMethodError: com.google.common.util.concurr

IDEA SpringBoot 打jar包出現java.lang.ClassNotFoundException

spring-data-redis和jedis整合版本導致jar包衝突解決

java web的jar包衝突導致NoSuchMethodError報錯

jar包衝突及解決步驟

解決maven jar包衝突，使用python指令碼檢查

Maven實戰-由一次jar包衝突來詳述 Maven 依賴範圍及依賴調節原則

整合CAS出現的jar包不相容問題

maven中使用tomcat7外掛servlet-api的jar包衝突

解決jar包衝突通用方法彙總

【maven】排除maven中jar包依賴的解決過程例子：spring cloud啟動zipkin，報錯maven依賴jar包衝突 Class path contains multiple SLF4J bindings.

Maven中日誌jar包衝突報錯：Class path contains multiple SLF4J bindings

【maven 】jar包衝突-記一次衝突解決

PeopleSoft如何查詢jar包衝突

spark整合es遇到Guava jar包衝突問題:java.lang.NoSuchMethodError

相關推薦