2. 程式人生 > >MapReduce程式設計實現txt檔案中的內容匯入HBase

MapReduce程式設計實現txt檔案中的內容匯入HBase

阿新 • • 發佈：2019-02-06

一、建立java專案。

寫入程式碼，如下： [java] view plain copy  print?
  1. package translate1;  
  2. import java.io.IOException;  
  3. import org.apache.hadoop.conf.*;  
  4. import org.apache.hadoop.fs.Path;  
  5. import  org.apache.hadoop.mapreduce.*;  
  6. import org.apache.hadoop.io.LongWritable;  
  7. import  org.apache.hadoop.io.Text;  
  8. import org.apache.hadoop.mapreduce.lib.input.*;  
  9. import org.apache.hadoop.hbase.HBaseConfiguration;  
  10. import org.apache.hadoop.hbase.io.*;  
  11. import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;  
  12. import org.apache.hadoop.hbase.client.Put;  
  13. import org.apache.hadoop.hbase.util.Bytes;  
  14. public
    class translate1 {      
  15.        publicstatic Job createSubmittableJob(Configuration conf, String[] args)throws IOException {  
  16.                        String tableName = args[0];  
  17.                        Path inputDir = new Path(args[1]);  
  18.                        @SuppressWarnings("deprecation")  
  19.                        Job job = new
     Job (conf, "hac_chapter2_recipe3");  
  20.                        job.setJarByClass(HourlyImporter.class);  
  21.                        FileInputFormat.setInputPaths(job, inputDir);   
  22.                       job.setMapperClass(HourlyImporter.class);  
  23.                       TableMapReduceUtil.initTableReducerJob(tableName, null, job);   
  24.                       job.setNumReduceTasks(0);  
  25.                       TableMapReduceUtil.addDependencyJars(job);  
  26.                       return job;   
  27.                               }   
  28.        publicstaticvoid main(String[] args)throws Exception {  
  29.                       Configuration conf = HBaseConfiguration.create();  
  30.                       Job job = createSubmittableJob(conf, args);  
  31.                       System.exit (job.waitForCompletion(true) ? 0 : 1);  
  32.                               }  
  33.                      }  
  34.       class HourlyImporter extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> {  
  35.          privatelong ts;  
  36.          staticbyte[] family = Bytes.toBytes("n");  
  37.          @Override
  38.          protectedvoid setup(Context context) {   
  39.          ts = System.currentTimeMillis();   
  40.           }  
  41.                      publicstatic String change(String str,int n,boolean j){  
  42.                                if(str==null||str.length()>=n) return str;  
  43.                                 String s="";  
  44.                                for(int i=str.length();i<n;i++)  
  45.                                       s+="0";  
  46.                               if(j) return s+str;  
  47.                               elsereturn str+s;    
  48.                               }  
  49.                             @SuppressWarnings("deprecation")  
  50.                     publicvoid map(LongWritable offset, Text value, Context context)throws IOException {  
  51.                            try {  
  52.                                      String line = value.toString();  
  53.                                      String stationID = line.substring(0, 4);  
  54.                                      String month = line.substring(5, 7);  
  55.                                      String day = line.substring(7, 9);  
  56.                                      String rowkey = stationID + month + day;  
  57.                                      byte[] bRowKey = Bytes.toBytes(rowkey);  
  58.                                      ImmutableBytesWritable rowKey =  new ImmutableBytesWritable(bRowKey);  
  59.                                      Put p = new Put(bRowKey);  
  60.                                      for (int i = 1; i < 4 ; i++) {  
  61.                                            String columnI ="v" + change(String.valueOf(i),2,true);   
  62.                                            int beginIndex = i * 2 + 8;  
  63.                                            String valueI =line.substring(beginIndex, beginIndex + 2).trim();  
  64.                                            p.add(family, Bytes.toBytes(columnI),ts, Bytes.toBytes(valueI));  
  65.                                             }  
  66.                                     context.write(rowKey, p);  
  67.                                }catch (InterruptedException e) {  
  68.                                     e.printStackTrace();   
  69.                                }   
  70.                           }   
  71.               }   

二、上傳txt檔案到HDFS系統

HDFS中的檔案內容為：

三、在HBase終端上建立HBase表格

建立時只需指定要建立表格的表名和列族名

四、配置java專案執行的引數

配置內容如圖：

五、執行結果

如圖：

相關推薦

MapReduce程式設計實現txt檔案中的內容匯入HBase

一、建立java專案。 寫入程式碼，如下： [java] view plain copy  print? package translate1;   import java.io.IOException;   import org.apache.hadoo

在D盤中建立檔案test.txt,檔案中內容為:hello Java,然後利用流把該檔案拷貝到E盤根目錄中

import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream

mysql匯入資料load data infile用法(將txt檔案中的資料匯入表中)

我們常常匯入資料！mysql有一個高效匯入方法，那就是load data infile 下面來看案例說明   基本語法： load data  [low_priority] [local] infile 'file_name txt' [replace | ignor

【OS大作業】用多執行緒統計txt檔案中字元個數（Java實現）

問題描述 給定一個txt檔案，利用不同個數的執行緒查詢檔案中某字元的個數，探究執行緒個數與查詢時間的關係。 本作業程式碼使用JAVA實現，版本為10.0.2，使用的IDE為Eclipse4.9.0. 結果測試所用的txt檔案內容為英文，編碼格式為UTF-8。 原始碼 第一版程式碼：（

php遍歷文字文件txt檔案中的連結內容為陣列

1 <?php 2 3 $file = fopen("1.txt", "r"); 4 $user=array(); 5 $i=0; 6 //輸出文字中所有的行，直到檔案結束為止。 7 while(! feof($file)) 8 { 9 $user[$i]= fgets($fi

讓隱私內容存在txt檔案中

實驗的目的，純粹是為了好玩，知道有這麼一項功能，裝逼用的哈哈。 在D:盤上建立一個有內容的txt檔案my.txt，內容如下： 使用命令，切換到D:盤，並敲入如下命令： C:\Users\yangfeng>cd /d D: D:\>notepad my.txt:som

[uEnv.txt]在uEnv.txt檔案中使用if語句實現Image/dtb檔案切換

指定image/dtb檔案 bootdir= bootfile=zImage fdtfile=embest-SBCC_PH8800_WLQ.dtb loadaddr=0x82000000 fdtaddr=0x88000000 finduuid=part uuid

Python開啟檔案，將list、numpy陣列內容寫入txt檔案中

python儲存numpy資料：numpy.savetxt("result.txt", numpy_data); 儲存list資料：file=open('data.txt','w') file.wri

php 讀取txt檔案中的內容，轉換成陣列

$str = file_get_contents('weixinname.txt');//將整個檔案內容讀入到一個字串中 $str_encoding = mb_convert_encod

編寫程式，完成檔案複製功能，即將a.txt檔案內容複製到b.txt檔案中去

import java.io.*; public class copyfile { /** * @param args */ public static void main(String[] args) { String oldPath="c://a.txt"

SpringMVC 實現POI讀取Excle檔案中資料匯入資料庫（上傳）、匯出資料庫中資料到Excle檔案中（下載）

package com.shiliu.game.utils; import java.io.OutputStream; import java.net.URLEncoder; import java.util.ArrayList; import java.util.List; import

java——修改txt檔案中某一行的內容

　　今天無意間看到java.io中有一個類：RandomAccessFile，可以在檔案的任意位置進行讀寫操作，想到我之前寫的一個小專案，想在txt中修改某一行的內容，都是從頭遍歷txt檔案，修改這一行的同時，把整個檔案放入快取，再把修改後的內容重新寫入檔案，可以說是很蠢了，但一直沒找到好的辦法。 　　這個

關於javascript從txt檔案中讀取內容出現亂碼的問題

在開啟檔案時，設為-2或者0，而不是不設或者設為-1。（有語義和下面的衝突） OpenTextFile 方法 開啟指定的檔案並返回一個 TextStream 物件，可以讀取、寫入此物件或將其追加到檔案。 object.OpenTextFile(filename[,

去掉txt檔案中每一行字串內容的第一個空格

demo的作用 在opencv訓練分類器的時候，前期製作樣本的時候，師弟們把樣本的名字中帶有了空格，但是訓練的時候樣本的名字是不能帶有空格的。而樣本的名字儲存在一個txt資料夾中，所以需要修改txt檔案中的樣本名字。 讀寫檔案 find字串的空格位置 查詢空

python 將print輸出的內容儲存到txt檔案中

import sys import os class Logger(object): def __init__(self, filename="Default.log"): self.terminal = sys.stdout sel

將Excel或者Txt檔案中的資料匯入Oracle資料庫

使用SQL*Loader前提必須oracle資料中目的表已經存在大體步驟如下：     1   將excle檔案另存為一個新檔案比如檔名為text.txt，檔案型別選文字檔案（製表符分隔），這裡選擇型別為csv（逗號分隔）也行，但是在寫後面的control.ctl時要將欄位終

Python備份檔案、檔案版本的學生管理系統如何實現（將資料儲存在txt檔案中）

完成檔案的備份案例答：# 根據輸入的檔名進行復制新的檔名old_file_name = input("請輸入要複製的檔名:")new_file_name = old_file_name[:old_file_name.rfind(".")] + "_copyfile" + ol

SSIS【Foreach 迴圈容器_Foreach 檔案列舉器】（匯入路徑下的所有txt檔案的內容）

SQLServer 2008 R2 SSIS_Foreach 迴圈容器_Foreach 檔案列舉器（匯入路徑下的所有txt檔案的內容） 1. 拖動一個 【Foreach 迴圈容器】到【控制流】中，再拖動一個【資料流任務】到【Foreach 迴圈容器】中。如圖： 2.編

Java中向指定txt檔案追加內容

void appendContent(String fileName, String content) { RandomAccessFile randomFile = null; try {

【C++】將txt檔案中的內容讀入動態二維陣列內

這篇主要記錄一下使用C++中的動態二維陣列來儲存讀入的txt文件中的資料 //設txt中的資料有rows行和cols列 //使用new新建一個rows行，cols列的二維陣列fstream fin