2. 程式人生 > >hadoop如何使用第三方依賴jar包

hadoop如何使用第三方依賴jar包

阿新 • • 發佈：2019-01-29
在hadoop環境下，我們經常會遇到執行一些指令碼，然後卻需要臨時依賴一些jar包，比如在檢視mahout執行結果的時候，如果用hadoop fs -text xxx就會遇到類似的錯誤資訊：java.io.IOException: WritableName can't load class: org.apache.mahout.math.VectorWritable。意思就是當前環境下載classpath中沒有對應的類，一般情況下可以如下解決：
1.直接用hadoop的libjars引數載入第三方jar
hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
2.在當前環境變數中加入HADOOP_CLASSPATH
 HADOOP_CLASSPATH=/opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar
hadoop fs -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more

相關推薦

hadoop如何使用第三方依賴jar包

在hadoop環境下，我們經常會遇到執行一些指令碼，然後卻需要臨時依賴一些jar包，比如在檢視mahout執行結果的時候，如果用hadoop fs -text xxx就會遇到類似的錯誤資訊：java.io.IOExce

springboot解決第三方依賴jar包的問題

war 項目 ice pat http sed osi maven mpat 公司現在用的是springboot+maven，想要把一些老的項目都改成這種框架。但是一些老的項目中有好多第三方的jar包或者是自己的jar包，maven庫上沒有。最初的解決方案是一個個的depl

springboot打jar/war包解決第三方依賴jar包的問題

轉載自： http://www.jianshu.com/p/574f74d1d0ee SpringBoot+Maven的專案,有時候會遇到第三方jar包依賴Maven倉庫。Maven有一種方式可以將本地的Jar包依賴到專案中而不需要先deploy到Maven庫上。 具體做法如下

springboot 部署 java.lang.NoClassDefFoundError（第三方依賴jar包的問題）

springboot+maven，老的專案中有好多第三方的jar包或者是自己的jar包，maven庫上沒有。 具體做法： 1.新建個lib目錄放jar包，我建在了src下； <!--新增外部依賴--> <dependency>

maven專案打包的時候忽略第三方依賴jar包

因為專案需要經常性的修改-打包-上傳到伺服器，包含lib的war包比較大，第三方jar包基本不會大動，所以就想把這些jar包移出war包，放在jetty裡面，這樣每次只需要編譯打包原始碼即可，war包大小極度減小，方便上傳。 maven配置 <plug

SpringBoot系列：打包剝離第三方依賴jar包

1、   pom.xml中加入配置並修改mainClass路徑為自己專案的主函式路徑：  <build>         <plugins>     &

maven依賴jar包更新，業務jar需同步更新（業務jar依賴API）

maven lean 出現 問題 方法 bsp 更新 之前 新環境 背景： 　　環境出現問題，定位為依賴jar缺失，修改工程pom文件補充依賴jar。 更新要點說明： 　　依賴jar，更新提交 　　業務jar，也需更新提交：maven構建會把依賴jar引用進去，更新環境如果

Hadoop 運行jar包時 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found

yar error not caused not found mapred info group col 錯誤如下 Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com

Maven依賴jar包版本沖突解決方案

解決方案 排除 3.1 1.0 例如 優化 pen maven 產生 1、為何會產生依賴沖突 Maven中的傳遞性依賴機制，一方面簡化了依賴聲明，另一方面如果傳遞依賴有可能引發版本沖突。例如：有這樣的依賴關系：a->b->c->x(1.0)、a->

spring maven項目解決依賴jar包版本沖突方案

acc ans ng- amp 解決方案 depend pri expected zhong 引入：http://blog.csdn.net/sanzhongguren/article/details/71191290 在spring reference中提到一個解決s

jmeter的dubbo壓測，依賴jar包要放到執行機的lib/ext下

三方 很多 ext 需要 jmeter 依賴 實測 都是 class 對於jmeter的dubbo壓測場景的master-slave結構： 即master的jmeter進行任務的下發和報告的生成，slave進行任務的執行 因為dubbo壓測需要依賴很多三方jar包，那麽需要

JEECG快速開發平臺入坑報錯解決第一波——pom.xml中jeecg的依賴jar包沒匯入成功

不做多餘解釋，錯誤見上圖；jar包沒匯入成功，自然要想辦法匯入jar包，可選方法如下： 專案關閉，重新開啟，maven會自動下載； 選中專案，右鍵選擇RunAS，再選擇Maven install，控制檯會下載專案所依賴的包； 選中專案，右鍵選擇Maven，再選擇

springboot引入外部依賴jar包

新增步驟 pom.xml相關內容： <dependency> <groupId>com.cmstk_api</groupId> <artifactId>sdk</artifac

ant 編譯 hadoop-eclipse-plugin.jar包

1.安裝 ant sudo apt-get install ant 測試： 2.下載 hadoop 已配置 hadoop-2.7.3 https://download.csdn.net/download/qq_38038143/10752615 未配置，

【maven】排除maven中jar包依賴的解決過程 例子：spring cloud啟動zipkin，報錯maven依賴jar包衝突 Class path contains multiple SLF4J bindings.

一直對於maven中解決jar包依賴問題的解決方法糾結不清： 下面這個例子可以說明一個很簡單的解決方法:     專案啟動報錯： Connected to the target VM, address: '127.0.0.1:59412', transport: 'sock

下載maven專案裡的依賴jar包

1.window下新建資料夾，放入xml檔案 2.在該目錄cmd下執行  mvn  -DoutputDirectory=./lib  -DgroupId=com.china -DartifactId=ct_consumer  -Dversion=1.0-SNAPSHO

hadoop叢集執行jar包報錯（eclipse導jar）

報錯日誌： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/hdfs/wordcount/WordcountDriver has been compiled by a more recent v

CXF最少依賴jar包列表（附下載地址）

使用cxf處理soap時經常會碰到ClassNotFound的異常，cxf依賴的包比較多，請見如下列表： cxf-2.3.3.jar geronimo-annotation_1.0_spec-1.1.1.jar geronimo-jaxws_2.2_spec-1.0.jar

IDEA使用之讓maven專案自動依賴jar包

作者：龍丿一  來源：CSDN  原文：https://blog.csdn.net/wuyanshen2012/article/details/76985225  當我們用manven構建專案的時候，我們在pom.xml中刪除一個依賴或者新增一個依賴，

spark應用程式引用第三方的jar包(轉載備用)

第一種方式 操作：將第三方jar檔案打包到最終形成的spark應用程式jar檔案中 應用場景：第三方jar檔案比較小，應用的地方比較少 第二種方式 操作：使用spark-submit提交命令的引數: –jars 要求： 1、使用spark-sub