Hadoop 2.2 & HBase 0.96 Maven 依賴總結
但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導致編譯失敗。
通過網上的資料,得知Hbase 0.94後版本,直接新增Hbase-Client的依賴,通過查詢得知需要以下依賴:
- <dependency>
- <groupId>commons-io</groupId>
- <artifactId>commons-io</artifactId>
- <version>1.3.2</version>
- </dependency
- <dependency>
- <groupId>commons-logging</groupId>
- <artifactId>commons-logging</artifactId>
- <version>1.1.3</version>
- </dependency>
- <dependency>
- <groupId>log4j</groupId>
- <artifactId>log4j</artifactId>
- <version
- </dependency>
- <dependency>
- <groupId>org.apache.hbase</groupId>
- <artifactId>hbase-client</artifactId>
- <version>0.96.1-hadoop2</version>
- </dependency>
- <dependency>
- <groupId>com.google.protobuf</groupId>
- <
- <version>2.5.0</version>
- </dependency>
- <dependency>
- <groupId>io.netty</groupId>
- <artifactId>netty</artifactId>
- <version>3.6.6.Final</version>
- </dependency>
- <dependency>
- <groupId>org.apache.hbase</groupId>
- <artifactId>hbase-common</artifactId>
- <version>0.96.1-hadoop2</version>
- </dependency>
- <dependency>
- <groupId>org.apache.hbase</groupId>
- <artifactId>hbase-protocol</artifactId>
- <version>0.96.1-hadoop2</version>
- </dependency>
- <dependency>
- <groupId>org.apache.zookeeper</groupId>
- <artifactId>zookeeper</artifactId>
- <version>3.4.5</version>
- </dependency>
- <dependency>
- <groupId>org.cloudera.htrace</groupId>
- <artifactId>htrace-core</artifactId>
- <version>2.01</version>
- </dependency>
- <dependency>
- <groupId>org.codehaus.jackson</groupId>
- <artifactId>jackson-mapper-asl</artifactId>
- <version>1.9.13</version>
- </dependency>
- <dependency>
- <groupId>org.codehaus.jackson</groupId>
- <artifactId>jackson-core-asl</artifactId>
- <version>1.9.13</version>
- </dependency>
- <dependency>
- <groupId>org.codehaus.jackson</groupId>
- <artifactId>jackson-jaxrs</artifactId>
- <version>1.9.13</version>
- </dependency>
- <dependency>
- <groupId>org.codehaus.jackson</groupId>
- <artifactId>jackson-xc</artifactId>
- <version>1.9.13</version>
- </dependency>
- <dependency>
- <groupId>org.slf4j</groupId>
- <artifactId>slf4j-api</artifactId>
- <version>1.6.4</version>
- </dependency>
- <dependency>
- <groupId>org.slf4j</groupId>
- <artifactId>slf4j-log4j12</artifactId>
- <version>1.6.4</version>
- </dependency>
若要使用org.apache.hadoop.hbase.mapreduce的API,需要加上:
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-server</artifactId>
<version>0.96.1-hadoop2</version>
</dependency>
最後,把Hadoop的依賴也貼上來,以防自己忘記:
<!--hdoop--><dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.3.0</version>
</dependency>
<dependency>
<groupId>commons-configuration</groupId>
<artifactId>commons-configuration</artifactId>
<version>1.6</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-auth</artifactId>
<version>2.3.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.3.0</version>
</dependency>
相關推薦
Hadoop 2.2 & HBase 0.96 Maven 依賴總結
由於Hbase 0.94對Hadoop 2.x的支援不是非常好,故直接新增Hbase 0.94的jar依賴可能會導致問題。 但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導致
spark1.4 讀取hbase 0.96 報錯 java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytes
spark接hbase讀取資料: val sc = new SparkContext(sparkConf) val conf = HBaseConfiguration.create()
關於hadoop各種專案中用到的maven依賴
-----------------scala-spark <dependencies> <!--spark依賴--> <dependency>
Flume-ng將資料插入hdfs與HBase-0.96.0
問題導讀:1.如何配置分散式flume2.master與node之間該如何配置,有什麼異同?3.啟動命令是什麼?4.flume把資料插入hbase,該如何配置?一、Flume-ng配置插入hdfs1)簡介 Flume是一個分散式、可靠、和高可用的海量日誌聚合的系統,支援在系統中定製各類資料傳送方,用於收集資
Hbase MapReduce的Maven依賴
由於Hbase 0.94對Hadoop 2.x的支援不是非常好,故直接新增Hbase 0.94的jar依賴可能會導致問題。 但是直接新增Hbase0.96的依賴,由於官方並沒有釋出Hbase 0.96的jar包,通過maven編譯專案的時候會出現找不到jar包導
hbase-2.1.0 程式設計 , 缺少 hadoop-auth-2.7.4.jar ?
問題: maven倉庫映象設定為 <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>
maven課程 專案管理利器-maven 3-7 maven依賴範圍 2星
本節主要講了maven的依賴範圍: 在pom.xml dependency標籤的scope中。eclipse中有編譯的路徑,maven中有編譯,執行,測試的路徑。 1 scope為test,為測試路徑,多為junit jar包 2 scope為compile,
Hadoop-1.2.1/1.0.1 install on Ubuntu
1.hadoop-1.2.1官方包:點我 Hadoop-1.0.1官方包:點我 1.1 解壓到home目錄中的Hadoop下 sudo tar -zxvf 包名 cd hadoop-1.2.1 2.jdk 1.6 點我 &nbs
spark-2.2.0 叢集安裝部署以及hadoop叢集部署
Spark在生產環境中,主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架,所以需要預先在叢集內有搭建好儲存資料的持久化層,如HDFS、Hive、Cassandra等,最後可以通過啟動指令碼執行應用。
技術分享2018/11/2-Maven依賴作用範圍
Maven 依賴作用範圍 scope 取值 有效範圍(compile,runtime,test) 依賴傳遞 舉例 test test 否 JUnit
Hadoop 2.2.0 環境 HIVE 0.11安裝
準備工作: 1、Hadoop 2.2.0環境執行正常; 2、下載HIVE0.11版本。 操作步驟: 1、解壓HIVE 0.11的檔案 tar zxvf hive-0.11.0-bin.tar.gz -C /opt 2、修改
Hadoop 2.2.0下Pig安裝及Pig的基礎使用
準備工作: 1、正常執行的Hadoop2.2.0環境; 2、自行編譯好適用於Hadoop2.2.0環境的的Pig 0.12.0版本。 1)NameNode的機器上安裝apache-ant,將ant的可執行檔案路徑放入環境變數PATH中; &nbs
hadoop 2.2.0 執行MapReduce程式
環境: 2臺虛擬機器搭建Hadoop環境 系統Fedora 10 Hadoop 2.2.0 準備工作: 1、Hadoop 2.2.0 環境配置執行 2、建立Hdfs的輸入資料夾和輸入檔案: hadoop fs -copyFromLoca
Missing artifact com.oracle:ojdbc6:jar:11.2.0.3 Maven中不能引入ojdbc解決方法
今天在建立Maven專案的時候出現了一個問題,在POM檔案的overview窗口出現**Missing artifact com.oracle:ojdbc6:jar:11.2.0.3。**提示,著實不知道是啥情況。 在網上找了半天資料才知道,原來objdc6.j
編譯 hadoop 2.2.0
2013-10-17 周海漢 /文 2013.10.17 Hadoop 2.2 是 Hadoop 2 即yarn的第一個穩定版。並且解決單點問題。 maven安裝 解壓後放到/usr/local目錄下。 增加國內m
yarn hadoop mapreduce 2.0 編譯
2012-09-19 周海漢 /文 2012.9.19 ## 下載 [[email protected] ~]$ wget http://labs.mop.com/apache-mirror/hadoop/ch
Windows環境下搭建Hadoop(2.6.0)+Hive(2.2.0)環境並連線Kettle(6.0)
前提:配置JDK1.8環境,並配置相應的環境變數,JAVA_HOME 一.Hadoop的安裝 1.1 下載Hadoop (2.6.0) http://hadoop.apache.org/releases.html 1.1.1 下載對應版本的winutils(https://gith
hadoop 2.2.0編譯WordCount
javac -classpath common/hadoop-common-2.2.0.jar:common/lib/commons-cli-1.2.jar:common/lib/hadoop-annotations-2.2.0.jar:mapreduce/hadoop-m
open-vm-tools-dkms : 依賴: open-vm-tools (>= 2:9.4.0-1280544-5ubuntu3) 但是它將不會被安裝
我的環境: [email protected]:~/桌面$ cat /proc/version Linux version 3.16.0-30-generic ([email protected]) (gcc version 4.8.2 (Ubuntu
kettle 5.1.0 連線 Hadoop hive 2 (hive 1.2.1)
1. 配置HiveServer2,在hive-site.xml中新增如下的屬性 <property> <name>hive.server2.thrift.bind.host</name> <value>192.