HBase出現java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration問題
問題:Hbase在叢集上執行報錯:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration
需求:HBase使用Java建立表,打包成jar,提交到叢集上行執行!
在IDEA中使用Maven新增Hbase
程式碼:
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-it</artifactId>
<version >1.1.3</version>
</dependency>
Java程式碼:
package com.bynear.HBase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop .hbase.TableName;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import java.io.IOException;
/**
* 2018/6/20
* 15:35
*/
public class HBaseTest {
public static void main(String[] args) throws Exception {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum" , "Spark1:2181,Spark2:2181");
HBaseAdmin admin = new HBaseAdmin(conf);
TableName name = TableName.valueOf("nvshen");
HTableDescriptor desc = new HTableDescriptor(name);
HColumnDescriptor base_info = new HColumnDescriptor("base_info");
HColumnDescriptor extra_info = new HColumnDescriptor("extra_info");
base_info.setMaxVersions(5);
extra_info.setMaxVersions(5);
desc.addFamily(base_info);
desc.addFamily(extra_info);
admin.createTable(desc);
}
}
打包提價到叢集上:
hadoop jar /root/SparkStudy.jar com/bynear/HBase/HBaseTest
結果出現如下報錯!
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
at com.bynear.HBase.HBaseTest.main(HBaseTest.java:19)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 6 more
解決辦法:
把hbase的jar包加入到hadoop classpath中
在hadoop安裝目錄下找到hadoop-env.sh檔案,
新增 : export HADOOP_CLASSPATH=/home/hadoop/apps/hbase/lib/*
不需要重啟,重新執行命令hadoop jar mapreducehbase.jar hbase.TxHBase 執行成功。
HBase的安裝!
tar -zxvf hbase.tar -C 到指定的目錄
vim hbase-env.sh
新增 JAVA_HOME 將自導的Zookeeper 修改為flase
vim hbase-site.xml
<configuration>
<property>
//新增HDFS的路徑(自動建立)
<name>hbase.rootdir</name>
<value>hdfs://Spark1:9000/hbase</value>
</property>
<property>
//是否啟用分散式
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
//配置zookeeper
<name>hbase.zookeeper.quorum</name>
<value>Spark1:2181,Spark2:2181</value>
</property>
</configuration>
注意:
需要將 Hadoop 的 hdfs-site.xml 和 core-site.xml 拷貝到Hbase的conf目錄中,因為HBase叢集是依賴於Hadoop叢集的,HBase的region產生的HFile,儲存在hbase-site.xml中建立的HDFS指定的目錄中!
執行結果:
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.library.path=/root/app/hadoop-2.5.0-cdh5.3.6/lib/native
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:java.compiler=<NA>
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.name=Linux
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.arch=i386
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:os.version=2.6.32-431.el6.x86_64
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.name=root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.home=/root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Client environment:user.dir=/root
18/06/21 01:01:36 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=Spark1:2181,Spark2:2181 sessionTimeout=90000 watcher=hconnection-0xcb18130x0, quorum=Spark1:2181,Spark2:2181, baseZNode=/hbase
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Opening socket connection to server Spark1/192.168.2.15:2181. Will not attempt to authenticate using SASL (unknown error)
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Socket connection established, initiating session, client: /192.168.2.15:47408, server: Spark1/192.168.2.15:2181
18/06/21 01:01:36 INFO zookeeper.ClientCnxn: Session establishment complete on server Spark1/192.168.2.15:2181, sessionid = 0x641d2794760039, negotiated timeout = 40000
18/06/21 01:01:40 INFO client.HBaseAdmin: Created nvshen
執行結果:
hbase(main):001:0> list
TABLE
nvshen
1 row(s) in 0.4150 seconds
=> ["nvshen"]
hbase(main):002:0>
相關推薦
HBase出現java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration問題
問題:Hbase在叢集上執行報錯:NoClassDefFoundError:org/apache/hadoop/hbase/HBaseConfiguration 需求:HBase使用Java建立表,打包成jar,提交到叢集上行執行! 在IDEA中使用Mave
【HBase】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Fil
【問題描述】 在使用bulkload方式向HBase匯入資料的時候遇到了如下的錯誤: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/filter/Filter at
啟動hbase出現 java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException
在偽分散式下啟動hadoop後,啟動hbase。 啟動前沒對關於hbase的環境有關的變數進行配置, 啟動如下,出現異常 [email protected] ~/hbase-0.94.4 $ bin/start-hbase.sh localhost: +=====
HBase MapReduce 解決java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/...
在使用MapReduce 和HBase結合時候,在執行程式的時候,會出現 java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/xxx錯誤,原
Maven專案中出現java.lang.NoClassDefFoundError: org/apache/commons/fileupload/FileItemFactory異常的解決方案!
前幾天專案出現的問題: 啟動專案時一直報異常資訊: java.lang.NoClassDefFoundError:org/apache/commons/fileupload/FileItemFactory.
hive啟動報錯 java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
bin/hive Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf 這裡分享一種可能 到hadoop的etc/hadoo
Flume "java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.setWriteToWAL"
之前我們的架構方式採用的是spark+hbase+oozie解析儲存及呼叫演算法模式,最近突然出現一個需求,會有很多小檔案上傳,而且要求達到偽實時處理,也就是秒級別,spark很顯然不適合解析了,哪怕是幾十行的檔案, spark也基本是分鐘級別。 我想過2個方案來處理,一個是使用純JAVA來解
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer
在執行spark on hive 的時候在 sql.show()處報錯 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer 報錯詳情: Exceptio
在繞過證書驗證實現https訪問時 出現java.lang.NoClassDefFoundError: org/apache/http/conn/socket//PlainConnectionSock
# 歡迎使用Markdown編輯器寫部落格 本Markdown編輯器使用StackEdit修改而來,用它寫部落格,將會帶來全新的體驗哦: Markdown和擴充套件Markdown簡潔的語法 程式碼塊高亮 圖片連結和圖片上傳 LaTex數學公式 UML序列
hadoop解決Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps
linux+eclipse+本地執行WordCount丟擲下面異常: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps。 解決:沒有把yar
問題: java.lang.NoClassDefFoundError:org/apache/hadoop/mapred/InputSplitWithLocationInfo
問題描述:Exception in thread “dag-scheduler-event-loop” java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/InputSplitWithLocationInfo 缺少
Spring Boot 出現java.lang.NoClassDefFoundError: org/apache/tomcat/util/security/Escape錯誤
Spring Boot整合Jsp的過程中,編譯報出如下錯誤。 2018-03-15 22:04:45.166 ERROR 7240 --- [nio-8080-exec-1] o.a.c.c.C.[.[.[/].[dispatcherServlet]
java.lang.NoClassDefFoundError: org/apache/juli/logging/LogFactory,翻閱文件,都是說tomcat 少了什麼包。但是又說tomcat7以前的才會出現。直到翻到了https://www.oschina.net/question/17097
別人推薦jfinal非常好,就想著要在eclipse中進行一個demo的實驗。通過閱讀了幾篇大神的部落格。終於把環境安裝完成。 http://blog.csdn.net/weixin_37176250/article/details/71720803。這位大神的上下文章都介紹了jfinal的環境
Hadoop-異常-Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/io/DatumReader
//maven org.apache.avr 下載不完全 ,去maven If you are using maven to build your jar, you need to add the following depende
tomcat關閉時log4j報錯錯出現記憶體洩漏即java.lang.NoClassDefFoundError: org/apache/logging/log4j/message/Parameteriz
專案中使用的log4j做為日誌管理工具,最近發現在關閉tomcat時一直報錯,錯誤截圖如下: 解決方法:log4j在使用前需要初始化init(),在使用完成後同樣需要destory(),在servlet的destory()方法中新增“LogManager.
mybatis + log4j2 問題 java.lang.NoClassDefFoundError: org/apache/logging/log4j/spi/AbstractLoggerWrapper
logger nbsp 比較 mybatis oot log ogg bst modified root cause java.lang.NoClassDefFoundError: org/apache/logging/log4j/spi/AbstractLoggerWra
java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils
apache con ont test oca action error esp iat 1.java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils 缺少類 2. There is no Ac
java.lang.NoClassDefFoundError: org/apache/zookeeper/Watcher$Event$KeeperState
create col cycle eve apach sport fig depend frame 七月 29, 2017 10:51:00 上午 org.apache.catalina.core.StandardContext listenerStart嚴重: Excep
java.lang.NoClassDefFoundError: org/apache/ibatis/cursor/Cursor
error: cursor net sde 鏈接 版本 解決方法 pri batis 因為mybatis的版本和mybatis-spring的版本不兼容導致的,解決方法:mybatis的3.4.0及以上版本用mybatis-spring1.3.0及以上版本;mybatis的
java.lang.NoClassDefFoundError: org/apache/jsp/Index_jsp
internal col erl jsp catalina log pre under .class 今天在啟動Tomcat 後發現出現了這個錯誤 嚴重: Servlet.service() for servlet jsp threw exception j