1. 程式人生 > >Phoenix 採用bulkload 匯入 hbase (2017-8-16)

Phoenix 採用bulkload 匯入 hbase (2017-8-16)

本地CSV檔案測試: 2. 建立表 在phoenix的CLI介面建立user表。 > create table CSV_BULK_LOAD (id varchar primary key,account varchar ,passwd varchar); 3. 新增測試資料 在【PHOENIX_HOME】目錄下建立data.csv,內容如下: 001,google,AM  002,baidu,BJ  003,alibaba,HZ 4.在phoenix目錄中執行: bin/psql.py -t CSV_BULK_LOAD test/data.csv SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/phoenix4.9.0/phoenix-4.9.0-HBase-1.2-client.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/home/hadoop2.73/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
17/08/16 16:56:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable csv columns from database. CSV Upsert complete. 3 rows upserted Time: 0.086 sec(s) 5.檢視 0: jdbc:phoenix:> select * from CSV_BULK_LOAD +------+----------+---------+
| ID | ACCOUNT | PASSWD | +------+----------+---------+ | 001 | google | AM | | 002 | baidu | BJ | | 003 | alibaba | HZ | +------+----------+---------+ 3 rows selected (0.083 seconds) 6.利用MapReduce插入普通檔案 data2.txt 004,aaagoogle,EEEEAM 005,dddddbaidu,EEEEBJ 006,cccccalibaba,EEEEHZ 7.在phoenix目錄下 (data2.txt也需要在同一個目錄,不能有子目錄,不知道為啥 [[email protected] phoenix4.9.0]# HADOOP_CLASSPATH=/home/hbase1.25/lib/hbase-protocol-1.2.5.jar:/home/hbase1.25/conf hadoop jar phoenix-4.9.0-HBase-1.2-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -t CSV_BULK_LOAD -i file:/home/phoenix4.9.0/data2.txt -z 172.16.11.221,172.16.11.222,172.16.11.223:2800 -z 如果不專門指定 預設訪問的埠是2181 ,當然埠值看自己hadoop hbase裡是多少 MapReduce載入器可以使用以下引數。
引數 描述
-i,-input 輸入CSV路徑(必填)
-t, - table 鳳凰臺名(強制性)
-a, - array-delimiter 陣列元素分隔符(可選)
-c,-import-columns 要匯入的列的逗號分隔列表
-d,-delimiter 輸入分隔符,預設為逗號
-g,-ignore-errors 忽略輸入錯誤
-o,-output 臨時HFiles的輸出路徑(可選)
-s,-schema 鳳凰模式名稱(可選)
-z,-zookeeper Zookeeper quorum連線(可選)
- it,-index-table 要載入的索引表名稱(可選)
8.檢視: 0: jdbc:phoenix:> select * from CSV_BULK_LOAD +------+---------------+----------+ | ID | ACCOUNT | PASSWD | +------+---------------+----------+ | 001 | google | AM | | 002 | baidu | BJ | | 003 | alibaba | HZ | | 004 | aaagoogle | EEEEAM | | 005 | dddddbaidu | EEEEBJ | | 006 | cccccalibaba | EEEEHZ | +------+---------------+----------+ 9 MapReduce importer 匯入Hfiles data3.csv 007,MMMMgoogle,HHHHHAM 008,AAAAbaidu,EEEEEBJ 009,CCCCalibaba,NNNNNHZ 10.利用 importer 匯入 [[email protected] phoenix4.9.0]# hadoop jar phoenix-4.9.0-HBase-1.2-client.jar org.apache.phoenix.mapreduce.CsvBulkLoadTool -t CSV_BULK_LOAD -i /Phoenix/data3.csv -z 172.16.11.221,172.16.11.222,172.16.11.223:2800 11.檢視: 0: jdbc:phoenix:> select * from CSV_BULK_LOAD; +------+---------------+-----------+ | ID | ACCOUNT | PASSWD | +------+---------------+-----------+ | 001 | google | AM | | 002 | baidu | BJ | | 003 | alibaba | HZ | | 004 | aaagoogle | EEEEAM | | 005 | dddddbaidu | EEEEBJ | | 006 | cccccalibaba | EEEEHZ | | 007 | MMMMgoogle | HHHHHAM | | 008 | AAAAbaidu | EEEEEBJ | | 009 | CCCCalibaba | NNNNNHZ | +------+---------------+-----------+

相關推薦

Phoenix 採用bulkload 匯入 hbase 2017-8-16

本地CSV檔案測試: 2. 建立表 在phoenix的CLI介面建立user表。 > create table CSV_BULK_LOAD (id varchar primary key,account varchar ,passwd varchar); 3. 新增

東方財富筆試題最後一題2017.09.16

一個簡單的程式設計題:有一個n*n的二階陣列,從右上角開始,順時針,從外到內,依次遍歷所有元素。 例如:1   2   3   4      5   6   7   8    

2017面向對象程序設計Java 第1周學習指導及要求2017.8.24-2017.8.27

令行 str applet 面向 學習目標 對象 com 變量 課程學習 2017面向對象程序設計(Java) 第1周學習指導及要求(2017.8.24-2017.8.27) 學習目標 了解課程上課方式及老師教學要求,掌握課程學習必要的軟件工具; 簡單了解Java特點

linux上安裝Phoenix操作hbase圖文詳解

一、什麼是 Phoenix Phoenix是一個開源的HBASE SQL層,是一箇中間件,使用Phoenix我們就可以使用標準的JDBC API代替HBase客戶端API來建立表,插入資料,查詢你的HBase資料,具體的介紹請看官網http://phoenix.apache

HBase快照管理CDH5.8.0

摘錄自《HBase不睡覺書》。     HBase提供了快照(snapshot)功能。可以使用快照來將某個表恢復到某個時刻的結構和資料,而且不需要擔心建立和恢復的郭過程會很緩慢,實際上這個速度非常快,往往只有數秒。     快照並不實際地複製資料,而是儲存一份檔案列表,通

Android功能集錦2017.8

1.通過Uri獲取檔案完整路徑 /** * 獲取Uri對應的檔案的路徑。 4.4之後需增加許可權 <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

MapReduce生成HFile檔案,再使用BulkLoad匯入HBase中(完全分散式執行)

宣告: 若要轉載, 請標明出處. 前提: 在對於大量的資料匯入到HBase中, 如果一條一條進行插入, 則太耗時了, 所以可以先採用MapReduce生成HFile檔案, 然後使用BulkLoad匯入HBase中.  引用: 一、這種方式有很多的優點: 1. 如果我們一次性

每日5題2017-07-02

ls -l 什麽 其中 物理 連接數 httpd var 發現 ont 1、如何查看/var/log目錄下的文件總數? ls -l /var/log/ -lR | grep "^-" | wc -l 其中 ls -l /var

[3D數學]矩陣 2017.8.16

旋轉矩陣 我們 進行 位移 組合 向量 bsp 一個 物體 <1>有時候我們想對整個物體做一定量旋轉,其實可以直接對物體坐標系進行相反量的旋轉 比如:現在想對一個物體順時針旋轉20度,再擴大200%,,既可以對這個物體的坐標系先縮小200%,再逆時

Pycharm2017.2 community+PyQt5.7+Designer

pyqt51、默認安裝過python3.5(Anaconda3版),安裝Pycharm。2、PyQt5.7下載URL,根據需要下載。 安裝:pip install PyQt5-5.7.1-5.7.1-cp34.cp35.cp36-none-win_amd64.whl3、Pycharm配置PyQt5。

每天學習點--------第二天2017-09-09

throws images exceptio ble ioe com 指定 code 字符 一、java.lang包下面長用的接口   Appendable:     1、append(char c) throws IOException 向Appendable

每天學習點--------第四天2017-09-26 摘要: 常用的字符串方法閱讀全文

.cn cnblogs img src log nbsp png image http 每天學習點--------第四天(2017-09-26) 摘要: 常用的字符串方法閱讀全文

每天學習點--------第六天2017-10-10 摘要: mysql和Oracle的區別

field 最大值 create ora sys 返回 sequence 系統 doc 1、自動增長數據類型的處理   Mysql有自動增長的數據類型,插入記錄時不用操作此字段,會自動獲取數據值。Oracle沒有自動增長的數據類型,需要建立一個自動增長的序列號,插入記錄時要

CSS實例:圖片導航塊2017.10.20

esc log 樣式 pan mage www. href enter wid 認識CSS的 盒子模型。 CSS選擇器的靈活使用。 實例: 圖片文字用div等元素布局形成HTML文件。 新建相應CSS文件,並link到html文件中。 CSS文件中定義樣式 div.img:

java一周學習記錄2017/12/2

統計 考試 lib 學習記錄 body width bsp 程序 table 姓名:Danny 日期:2017/12/2 任務 日期 聽課 編程程序 閱讀課本 準備考試 考試 周六加

普通高中課程方案和語文等學科課程標準2017年版----分析及教育部官網網址

信息 智能家居 eight ffffff 機器 add href 分享圖片 能源 我主要關註:高中信息技術、通用技術方面的課標。下面就把我的體會總結一下,便於後續教研。 高中信息技術 高中通用技術

C++筆記2017/2/9

靜態成員 目的 類之間的關系 c++ 聲明 出現 stat logs mut this指針 this指針作用就是指向成員函數所作用的對象。 非靜態成員函數中可以直接使用this來代表指向該函數作用的對象的指針。 靜態成員函數中不能使用this指針。 靜態成員 stati

【大話存儲】學習筆記7,8,FC協議

pass 混亂 fff 區分 san 主機 所有 內容 發生 Fibre Channnel 我們之前引入了SAN的概念,SAN首先是個網絡,而不是存儲設備。這個網絡是專門來給主機連接存儲設備用的。 我們知道按照SCSI總線16個節點的限制,不可能接入很多的磁盤,要擴大SAN

2018省賽模擬賽12017浙江省賽

== dsta bsp nec intro lis png 省賽 memset ZOJ3958 :Cooking Competition Time Limit:1000MS Memory Limit:65536KByte 64 IO Format:%lld &

全網最詳細的hive-site.xml配置文件裏如何添加達到Hive與HBase的集成,即Hive通過這些參數去連接HBase圖文詳解

out 開源精神 http FN image ava ext 必須 .cn   不多說,直接上幹貨!   一般,普通的情況是    <configuration>   <property>