1. 程式人生 > >如何執行hbase 的mapreduce job

如何執行hbase 的mapreduce job

執行hbase mapreduce的兩種方法:
1 使用hadoop命令執行mapreduce job.
  採用此方式需要修改hadoop-env.sh,將hbase相關的jar包加入到HADOOP_CLASSPATH中去,寫法如下:
  
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2-cdh4.2.2-security.jar


然後hadoop jar youjar.jar youclass in out來執行job,不然會報找不到hbase相關的類。


2 使用hbase 命令執行mapreduce job.
  採用此方法需要修改hbase-env.sh,將你的job jar包加入到HBASE_CLASSPATH中去,寫法如下:
  export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:/home/hadoop/workspace/HFIleGenerator.jar


然後通過hbase youclass in out來執行job.


我覺得第二種方式比較好一些,第一種有點相互依賴的感覺了。
注意 youclass必須寫類的全路徑名。

相關推薦

hadoop執行mapreduce.job: Running job後停止執行

版本資訊:Hadoop2.7.1, openjdk 8,執行在VirtualBox 5.0.6的Ubuntu 15.04上,基本上是目前(2015.10.13)最新的版本; 問題,在偽分佈環境下,執行 bin/hadoop jarshare/hadoop/mapreduce

如何執行hbasemapreduce job

執行hbase mapreduce的兩種方法: 1 使用hadoop命令執行mapreduce job.   採用此方式需要修改hadoop-env.sh,將hbase相關的jar包加入到HADOOP_CLASSPATH中去,寫法如下:    export HADOOP_C

MapReduce任務執行到running job卡住

(1) 環境:Centos6.4、JDK1.7、hadoop-2.5.0-cdh5.3.3 (2) 問題:之前使用Apache的hadoop跑各種MR應用均沒出現問題,然而使用CDH版的hadoop執行到running job卻卡住了。 配置好偽分散式的hadoop叢集,啟

HBase用一個MapReduce Job同時寫入兩張表

原始資料如下:fansy,22,blog.csdu.net/fansy1990 tom,25,blog.csdu.net/tom1987 kate,23,blog.csdu.net/kate1989 jake,20,blog.csdu.net/jake1992 john,35

MapReduce執行任務時卡在mapreduce.Job: Running Job這一步該如何解決

問題描述:在centos7系統搭建的偽分散式Hadoop基礎上,用Sqoop把HDFS上的資料匯出到Mysql的時候,發現任務執行時卡死在如下圖所示的這一步:卡了接近十分鐘意識到可能永遠也不會結束了....趕緊ctrl+c結束程序,找找原因。首先搜了下資料,發現大多數教程都說

mapreduce job提交的幾種執行方式

總共整理下來有三大類: 叢集上直接通過jar包來呼叫,輸入和輸出檔案必須都存在hdfs叢集上 linux環境下,在eclipse中叢集或本地呼叫程式,以及輸入和輸出檔案存於叢集或本地 windows環境下,在eclipse中叢集或本地呼叫程式,以及輸入和輸出

HBase MapReduce

key tput fig .config java work com blog tokenize 1. HBase to HBase Mapper 繼承 TableMapper,輸入為Rowkey和Result. public abstract class TableMap

Hive快捷查詢:不啟用Mapreduce job啟用Fetch task三種方式介紹

should ima only cts 直接 mapr 問題 rom conf 如果查詢表的某一列,Hive中默認會啟用MapReduce job來完成這個任務,如下: hive>select id,name from m limit 10;--執行時hive會啟用

執行HBase shell時出現ERROR: org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet錯誤解決辦法(圖文詳解)

cep ESS 關註 align comm util code ade dap   不多說,直接上幹貨! [kfk@bigdata-pro01 bin]$ jps 1968 NameNode 2385 ResourceManager 2259 Jou

Hive:簡單查詢不啟用Mapreduce job而啟用Fetch task

 一、背景:        如果在hive中僅僅查詢某個表的一列,Hive也會預設啟用MapReduce Job來完成這個任務。我們都知道,啟用MapReduce Job是會消耗系統開銷的。對於這個問題,從Hive0.10.0版本開始,對於簡

Jenkins執行恢復的Job出錯

問題描述 今天由於誤操作,刪除了一個Job,在我重新恢復這個Job之後,重新執行的時候報如下錯誤 java.lang.IllegalStateException: cannot create a build with number 1 since that (or higher)

HBase之自定義HBase-Mapreduce案例一

1.需求場景 將HBase中的ys表中的一部分資料通過Mapreduce遷移到ys_mr表中 2.程式碼編寫   1)構建ReadysMapreduce類,用於讀取ys表中的資料 package cn.ysjh; import java.io.IOException;

Hbase之官方Hbase-Mapreduce案例

Hbase是一個非關係型的資料庫,可以分散式部署,擅長儲存資料,但是不能分析資料,所以通過 HBase 的相關 JavaAPI,我們可以實現伴隨HBase 操作的 MapReduce 過程,比如使用MapReduce 將資料從本地檔案系統匯入到 HBase 的表中,比如我們從 HBase 中讀取一些

如何在Redis上儲存的資料上對Java執行分散式MapReduce

MapReduce是一個框架,當今的程式設計師可以使用它來編寫能夠使用現代分散式資料處理方法處理大量資料的應用程式。這種處理方法在當今的組織中非常流行。由於它允許在大型商用硬體叢集上並行處理資料,因此  MapReduce 可以顯著加快資料處理速度。在這篇文章中,我們將看看如

執行一個MapReduce時,應該監控些什麼

    執行一個MapReduce時,應該監控些什麼 前言        本文討論的是,在以Yarn做資源管理的叢集上如何監控一個MapReduce程式。 一、概述   &nbs

執行hbase shell時報錯: hbase(main):001:0> list ERROR: Can't get master address from ZooKeeper; znode da

執行hbase shell時報錯: hbase(main):001:0> list ERROR: Can't get master address from ZooKeeper; znode data == null Here is some help for this comma

MapReduce執行原理 MapReduce的原理及執行過程 Combiner

MapReduce的原理及執行過程   MapReduce簡介 MapReduce是一種分散式計算模型,是Google提出的,主要用於搜尋領域,解決海量資料的計算問題。 MR有兩個階段組成:Map和Reduce,使用者只需實現map()和reduce(

JAVA執行Kettle的JOB或者轉換的總結

第一步,連線資源庫 本例採用的是單例設計模式,這樣做的優點是如果資源庫已經連線,則不必重新連線 下面直接上程式碼 package com.qm.util; import java.io.File; import java.io.IOException; import

大資料之MapReduce瞭解及MapReduce Job提交到Yarn的工作流程

MapReduce主要用途是進行分散式計算 一、MapReduce理解 巨集觀上的理解: MapReduce僅僅是作為客戶端(Client)把程式碼程式提交到Yarn平臺上,MapReduce jar在Yarn上執行,屬於客戶端提交的過程,hdfs上傳的命令。

MapReduce的原理及執行過程 MapReduce簡介

轉載 :https://www.cnblogs.com/ahu-lichang/p/6645074.html MapReduce簡介 MapReduce是一種分散式計算模型,是Google提出的,主要用於搜尋領域,解決海量資料的計算問題。