2. 程式人生 > >Hadoop生成HFile直接入庫HBase心得

Hadoop生成HFile直接入庫HBase心得

阿新 • • 發佈：2019-02-17
轉載請標明出處：http://blackwing.iteye.com/blog/1991380 


hbase自帶了ImportTsv類，可以直接把tsv格式（官方教材顯示，是\t分割各個欄位的文字格式）生成HFile，並且使用另外一個類org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles直接把HFile移動到hbase對應的hdfs目錄。 

PS:網上看到一個XD說，直接生成HFile併入庫HBase效率不如先生成HFile，再通過LoadIncrementalHFiles移動檔案到hbase目錄高，這點沒有驗證，我的做法也是先生成，再move。 

官方教材在此： 

Java程式碼  收藏程式碼
  1. http://hbase.apache.org/book/ops_mgt.html#importtsv  

但ImportTsv功能對我來說不適合，例如檔案格式為： 
Java程式碼  收藏程式碼
  1. topsid   uid   roler_num   typ        time  
  2. 10      111111   255         0       1386553377000  

ImportTsv匯入的命令為： 
Java程式碼  收藏程式碼
  1. bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,kq:topsid,kq:uid,kq:roler_num,kq:type -Dimporttsv.bulk.output=hdfs://storefile-outputdir <hdfs-data-inputdir>
      


它生成的表格式為： 
Java程式碼  收藏程式碼
  1. row :　10   
  2. cf  :  kq  
  3. qualifier: topsid  
  4. value: 10  
  5. .....  

而我要求的格式是： 
Java程式碼  收藏程式碼
  1. row :　10-111111-255  
  2. cf  :  kq  
  3. qualifier: 0  
  4. value: 1  


所以還是自己寫MR處理資料方便。 
Mapper： 
Java程式碼  收藏程式碼
  1. /* 
  2.  * adminOnOff.log 檔案格式： 
  3.  * topsid   uid   roler_num   typ   time 
  4.  * */  
  5. public class HFileImportMapper2 extends
      
  6.         Mapper<LongWritable, Text, ImmutableBytesWritable, KeyValue> {  
  7.     protected SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");  
  8.     protected final String CF_KQ="kq";//考勤  
  9.     protected final int ONE=1;  
  10.     @Override  
  11.     protected void map(LongWritable key, Text value,Context context)  
  12.             throws IOException, InterruptedException {  
  13.         String line = value.toString();  
  14.         System.out.println("line : "+line);  
  15.         String[] datas = line.split("\\s+");  
  16.         // row格式為:yyyyMMdd-sid-uid-role_num-timestamp-typ  
  17.         String row = sdf.format(new Date(Long.parseLong(datas[4])))  
  18.                 + "-" + datas[0] + "-" + datas[1] + "-" + datas[2]  
  19.                 + "-" + datas[4] + "-" + datas[3];  
  20.         ImmutableBytesWritable rowkey = new ImmutableBytesWritable(  
  21.                 Bytes.toBytes(row));  
  22.         KeyValue kv = new KeyValue(Bytes.toBytes(row),this.CF_KQ.getBytes(), datas[3].getBytes(),Bytes.toBytes(this.ONE));  
  23.         context.write(rowkey, kv);  
  24.         }  
  25. }  


job: 
Java程式碼  收藏程式碼
  1. public class GenHFile2 {  
  2.     public static void main(String[] args) {  
  3.         Configuration conf = new Configuration();  
  4.         conf.addResource("myConf.xml");  
  5.         String input = conf.get("input");  
  6.         String output = conf.get("output");  
  7.         String tableName = conf.get("source_table");  
  8.         System.out.println("table : "+tableName);  
  9.         HTable table;  
  10.         try {  
  11.             //執行前，刪除已存在的中間輸出目錄  
  12.             try {  
  13.                 FileSystem fs = FileSystem.get(URI.create(output), conf);  
  14.                 fs.delete(new Path(output),true);  
  15.                 fs.close();  
  16.             } catch (IOException e1) {  
  17.                 e1.printStackTrace();  
  18.             }  
  19.             table = new HTable(conf,tableName.getBytes());  
  20.             Job job = new Job(conf);  
  21.             job.setJobName("Generate HFile");  
  22.             job.setJarByClass(HFileImportMapper2.class);  
  23.             job.setInputFormatClass(TextInputFormat.class);  
  24.             job.setMapperClass(HFileImportMapper2.class);  
  25.             FileInputFormat.setInputPaths(job, input);  
  26. //job.setReducerClass(KeyValueSortReducer.class);  
  27. //job.setMapOutputKeyClass(ImmutableBytesWritable.class);  
  28. //job.setMapOutputValueClass(KeyValue.class);  
  29.             job.getConfiguration().set("mapred.mapoutput.key.class", "org.apache.hadoop.hbase.io.ImmutableBytesWritable");  
  30.             job.getConfiguration().set("mapred.mapoutput.value.class", "org.apache.hadoop.hbase.KeyValue");  
  31. //job.setOutputFormatClass(HFileOutputFormat.class);  
  32. FileOutputFormat.setOutputPath(job, new Path(output));  
  33.     //job.setPartitionerClass(SimpleTotalOrderPartitioner.class);  
  34. HFileOutputFormat.configureIncrementalLoad(job,table);  
  35.             try {  
  36.                 job.waitForCompletion(true);  
  37.             } catch (InterruptedException e) {  
  38.                 e.printStackTrace();  
  39.             } catch (ClassNotFoundException e) {  
  40.                 e.printStackTrace();  
  41.             }  
  42.         } catch (IOException e) {  
  43.             e.printStackTrace();  
  44.         }  
  45.     }  
  46. }  


生成的HFile檔案在hdfs的/output目錄下，已經根據cf名稱建好檔案目錄： 
Java程式碼  收藏程式碼
  1. hdfs://namenode/output/kq/601c5029fb264dc8869a635043c24560  

其中： 
Java程式碼  收藏程式碼
  1. HFileOutputFormat.configureIncrementalLoad(job,table);  

根據其原始碼知道，會自動為job設定好以下引數： 
Java程式碼  收藏程式碼
  1. public static void configureIncrementalLoad(Job job, HTable table)  
  2. throws IOException {  
  3.   Configuration conf = job.getConfiguration();  
  4.   job.setOutputKeyClass(ImmutableBytesWritable.class);  
  5.   job.setOutputValueClass(KeyValue.class);  
  6.   job.setOutputFormatClass(HFileOutputFormat.class);  
  7.   // Based on the configured map output class, set the correct reducer to properly  
  8.   // sort the incoming values.  
  9.   // TODO it would be nice to pick one or the other of these formats.  
  10.   if (KeyValue.class.equals(job.getMapOutputValueClass())) {  
  11.     job.setReducerClass(KeyValueSortReducer.class);  
  12.   } else if (Put.class.equals(job.getMapOutputValueClass())) {  
  13.     job.setReducerClass(PutSortReducer.class);  
  14.   } else if (Text.class.equals(job.getMapOutputValueClass())) {  
  15.     job.setReducerClass(TextSortReducer.class);  
  16.   } else {  
  17.     LOG.warn("Unknown map output value type:" + job.getMapOutputValueClass());  
  18.   }  
  19.   conf.setStrings("io.serializations", conf.get("io.serializations"),  
  20.       MutationSerialization.class.getName(), ResultSerialization.class.getName(),  
  21.       KeyValueSerialization.class.getName());  
  22.   // Use table's region boundaries for TOP split points.  
  23.   LOG.info("Looking up current regions for table " + Bytes.toString(table.getTableName()));  
  24.   List<ImmutableBytesWritable> startKeys = getRegionStartKeys(table);  
  25.   LOG.info("Configuring " + startKeys.size() + " reduce partitions " +  
  26.       "to match current region count");  
  27.   job.setNumReduceTasks(startKeys.size());  
  28.   configurePartitioner(job, startKeys);  
  29.   // Set compression algorithms based on column families  
  30.   configureCompression(table, conf);  
  31.   configureBloomType(table, conf);  
  32.   configureBlockSize(table, conf);  
  33.   TableMapReduceUtil.addDependencyJars(job);  
  34.   TableMapReduceUtil.initCredentials(job);  
  35.   LOG.info("Incremental table " + Bytes.toString(table.getTableName()) + " output configured.");  
  36. }  


HFileOutputFormat只支援寫單個column family，如果有多個cf，則需要寫多個job來實現了。 

相關推薦

Hadoop生成HFile直接入庫HBase心得

轉載請標明出處：http://blackwing.iteye.com/blog/1991380 hbase自帶了ImportTsv類，可以直接把tsv格式（官方教材顯示，是\t分割各個欄位的文字格式）生成HFile，並且使用另外一個類org.apache.hadoop.hb

spark生成HFile匯入到hbase

原文地址：http://www.cnblogs.com/luckuan/p/5142203.html import java.util.Date import org.apache.hadoop.fs.Path import org.apache.hadoop.hbase

Hadoop整合Hbase，處理完的資料直接存入Hbase中

Hadoop可以清洗計算TB級別的資料，資料清洗結束存入HDFS中，也可以存入到Hbase中，可以方便快速查詢； 1.Hbase中需要建立一張表用來儲存HDFS清洗後的資料： hbase(main):014:0> create_namespace 'hdfs'

MapReduce生成HFile檔案,再使用BulkLoad匯入HBase中(完全分散式執行)

宣告: 若要轉載, 請標明出處. 前提: 在對於大量的資料匯入到HBase中, 如果一條一條進行插入, 則太耗時了, 所以可以先採用MapReduce生成HFile檔案, 然後使用BulkLoad匯入HBase中.  引用: 一、這種方式有很多的優點： 1. 如果我們一次性

【轉載】Hadoop 2.7.3 和Hbase 1.2.4安裝教程

啟動 運行 property new rop net 文本文 .tar.gz cor 轉載地址：http://blog.csdn.net/napoay/article/details/54136398 目錄(?)[+] 一、機器環境

Hadoop集群搭建(三) Hbase

hbase hadoop hdfs 前面已經完成Zookeeper和HDFS的安裝，本文會詳細介紹Hbase的安裝步驟。以及安裝過程中遇到問題的匯總。Hadoop集群搭建(一) ZookeeperHadoop集群搭建(二) HDFS下面開始Hbase的安裝。Hbase的服務器規劃192.168.6

生產環境下hadoop HA集群及Hbase HA集群配置

自動切換 value 下載 shared 第一次 borde sla com 結果 一、環境準備操作系統版本：centos7 64位hadoop版本：hadoop-2.7.3hbase版本：hbase-1.2.41、機器及角色IP角色192.168.11.131Nameno

win10操作虛擬機器中hadoop IntelliJ IDEA直接執行程式碼（不需要打jar包）

IntelliJ IDEA 2018.2.3 (Ultimate Edition)+Maven VMware中CentOS6.5 Hadoop2.7.1 上課的時候老師使用的是Eclipse編譯器,使用了 eclipse-hadoop的外掛。可以直接在eclipse

hadoop（十二）hbase資料庫+叢集搭建+Api

HBASE表結構： 建表時，不需要限定表中的欄位，只需要指定若干個列族 插入資料時，列族中可以儲存任意多個列（KV，列名&列值） 要查詢某一列具體欄位的值，需要指定的座標：列名--->行健--->列族：列名--->版本   hbase的存

hadoop做HA後，hbase修改

由於hadoop做了HA，namenode可能進行切換，hbase中的配置要做修改： hbase-site.xml中，rootdir改為和hadoop的dfs.nameservices一樣， 並將hadoop的core-site.xml和hdfs-site.xml拷貝到hbase的co

hadoop單機偽分佈安裝HBase-1.4.8詳細步驟（親測成功）

---------前提：安裝hadoop、yarn、jdk 1.下載解壓 1.1使用wget下載 1.2解壓到/usr/local目錄下 1.3.修改hbase資料夾許可權 chown -R hadoop:hadoop /usr/local/hbase-

從零搭建hadoop高可用叢集，hbase

一，叢集規劃 PC01 PC02 PC03 NameNode NameNode hive ZKFC ZKFC ntpd ResourceManager ResourceManager DataNode DataNode DataN

Hadoop筆記之十四——hbase安裝

本猿對hbase沒有太多深入的實際操作，只有安裝配置這一方面以及框架理解方面有一些可以拿出來的東西。 1、上傳解壓 2、配置hbase-env.sh     export JAVA_HOME=/opt/modules/jdk1.7.0_67 export HBA

Maven生成可以直接執行的jar包的多種方式

轉：http://blog.csdn.net/xiao__gui/article/details/47341385 Maven可以使用mvn package指令對專案進行打包，如果使用Java -jar xxx.jar執行執行jar檔案，會出現"no main manif

maven生成可以直接執行的jar（包括依賴和mainclass）

轉：http://blog.csdn.NET/xiao__gui/article/details/47341385 Maven可以使用mvn package指令對專案進行打包，如果使用Java -jar xxx.jar執行執行jar檔案，會出現"no

詳解Hadoop核心架構HDFS+MapReduce+Hbase+Hive

通過對Hadoop分散式計算平臺最核心的分散式檔案系統HDFS、MapReduce處理過程，以及資料倉庫工具Hive和分散式資料庫Hbase的介紹，基本涵蓋了Hadoop分散式平臺的所有技術核心。 通過這一階段的調研總結，從內部機理的角度詳細分析，HDFS、MapRed

命令列生成並直接執行jar包

轉載自慕課網 經常會頭疼於一個jar包是如何製作的，包括maven的打包方式，springboot的打jar包的原理，jar包稍稍有錯誤就會完全無法執行。在網上折騰了很久終於有些思路和步驟，在這裡做個筆記 本文大綱： 一、製作只含有位元組碼檔案的jar包 1、最簡單的jar包——直接輸出hello

Thinking in BigData（八）大資料Hadoop核心架構HDFS+MapReduce+Hbase+Hive內部機理詳解

      純乾貨：Hadoop核心架構HDFS+MapReduce+Hbase+Hive內部機理詳解。       通過這一階段的調研總結，從內部機理的角度詳細分析，HDFS、MapReduce、Hbase、Hive是如何執行，以及基於Hadoop資料倉庫的構建和分散式資

部署Hadoop環境（四）HBase分散式叢集部署與設計

HBase是一個高可靠、高效能、面向列、可伸縮的分散式儲存系統，利用Hbase技術可在廉價PC Server上搭建 大規模結構化儲存叢集。 HBase 是Google Bigtable 的開源實現，與Google Bigtable 利用GFS作為其檔案儲存系統類似， HBase 利用Hado

hadoop各版本支援的hbase版本

初學hbase，在版本選擇上還要注意各個版本的對應問題。官網（http://hbase.apache.org/book.html#java）資訊如下：Hadoop version support matrixHBase-1.2.xHBase-1.3.xHBase-2.0.xH