HBase Shell 操作命令&&使用Sqoop將資料匯入HBase
一、HBase Shell 操作命令實驗
要求:
HBase叢集正常啟動,且可以執行正常
進入客戶端
[[email protected] ~]$ cd /home/zkpk/hbase-0.98.7-hadoop2
[[email protected] hbase-0.98.7-hadoop2]$ bin/hbase shell
檢視列表
hbase(main):001:0> list
建立表test
hbase(main):002:0> create 'test', {NAME => 'f1', VERSIONS => 5}
再次檢視列表對比
hbase(main):003:0> list
插入資料
hbase(main):001:0> put 'test', 'aid001', 'f1:uid', '001'
掃描查詢資料
hbase(main):001:0> scan 'test'
單條查詢資料
hbase(main):002:0> get 'test','aid001'
查看錶結構
hbase(main):003:0> describe 'test'
修改表
hbase(main):004:0> disable 'test'
hbase(main):004:0> alter 'test', NAME => 'f1', VERSIONS => 3
hbase(main):004:0> enable 'test'
再次查看錶結構對比
[[email protected] ~]$ cd /home/zkpk/hbase-0.98.7-hadoop2
hbase(main):004:0> describe 'test'
清空表
hbase(main):004:0> truncate 'test'
掃描表
hbase(main):004:0> scan 'test'
刪除表
hbase(main):004:0> disable 'test'
hbase(main):004:0> drop 'test'
hbase(main):004:0> list
建立新表uid_cnt
hbase(main):004:0> create 'uid_cnt', {NAME => 'f1', VERSIONS => 5}
二、使用Sqoop將資料匯入HBase
要求:
MySQL服務啟動且執行正常
HBase叢集啟動且執行正常
進入sqoop安裝主目錄
[[email protected] ~]$ cd /home/zkpk/sqoop-1.4.5.bin__hadoop-2.0.4-alpha
執行匯入命令:
[[email protected] sqoop-1.4.5.bin__hadoop-2.0.4-alpha]$ bin/sqoop import --connect jdbc:mysql://192.168.190.147:3306/test --username hadoop --password hadoop --table uid_cnt --hbase-table uid_cnt --column-family f1 --hbase-row-key uid --hbase-create-table -m 1
其中紅色主機ip需要改為本機的ip地址
欄位解釋:
bin/sqoop import --connect jdbc:mysql://192.168.190.147:3306/test --username hadoop --password hadoop --table uid_cnt
--hbase-table uid_cnt HBase中表名稱
--column-family f1 列簇名稱
--hbase-row-key uid HBase行鍵
--hbase-create-table 是否在不存在情況下建立表
-m 1 啟動Map數量
相關推薦
HBase Shell 操作命令&&使用Sqoop將資料匯入HBase
一、HBase Shell 操作命令實驗 要求: HBase叢集正常啟動,且可以執行正常 進入客戶端 [[email protected] ~]$ cd /home/zkpk/hbase-0
Shell_mysql命令以及將資料匯入Mysql資料庫
連線MYSQL資料庫 mysql -h${db_ip} -u${db_user} -p${db_pawd} -P${db_port} -D${db_name} -s -e "${sql}" db_ip:主機地址 db_user :資料庫使用者名稱 db_pwd:密碼 db
hbase shell操作命令大全
一、hbase web操作 訪問地址 http://h71:60010h71的ip配置在$HBASE_HOME/conf/hbase-site.xml中 hbase.master.info.port HBase Master web 介面埠. 設定為 -1 意味著你不想讓它
flume將資料匯入hbase
1 將hbase的lib目錄下jar拷貝到flume的lib目錄下;2 在hbase中建立儲存資料的表hbase(main):002:0> create 'test_idoall_org','uid','name'3 建立flume配置檔案 vi.confa1.sour
通過sqoop將MySQL資料庫中的資料匯入Hbase
從接觸到大資料到成功的實現一個功能期間走了不少彎路也踩了不少坑,這裡作為我的學習筆記也可以作為小白們的前車之鑑,少走彎路,有不正確之處,望指出 環境準備: hadoop、hbase、sqoop、mys
用sqoop將oracle資料匯入Hbase 使用筆記
網上已經有很多關於這方面的資料,但是我在使用過程中也遇見了不少問題 1. sqoop 的環境我沒有自己搭建 直接用的公司的 2. oracle 小白怕把公司環境弄壞了,自己用容器搭建了一個 docker pull docker.io/wnameless/oracle-xe
使用sqoop命令把oracle資料匯入hdfs/hbase/hive
(一)匯入HDFS建立Job#!/bin/bash #Oracle的連線字串,其中包含了Oracle的地址,SID,和埠號 CONNECTURL=jdbc:oracle:thin:@10.122.5.2:1521:db #使用的使用者名稱 ORACLENAME=db #使用的
Sqoop_詳細總結 使用Sqoop將HDFS/Hive/HBase與MySQL/Oracle中的資料相互匯入、匯出
一、使用Sqoop將MySQL中的資料匯入到HDFS/Hive/HBase 二、使用Sqoop將HDFS/Hive/HBase中的資料匯出到MySQL2.3HBase中的資料匯出到mysql目前沒有直
使用Sqoop將資料從RDBMS(關係型資料庫) 到hdfs和Hive的匯入匯出
一、RDBMS 到 HDFS/HIVE 1.首先啟動Mysql service mysql start 2.在mysql中新建一張表並插入資料 # mysql -uroot -proot mysql> create table dept(id int pri
flume將資料匯入到hbase中
安裝flume: [[email protected] ~]$ tar -zxvf flume-ng-1.6.0-cdh5.5.2.tar.gz 修改 flume-env.sh 配置檔案,主要是JAVA_HOME變數設定 [[email protect
將sqlserver的資料匯入hbase中
將sqlserver的資料匯入hbase中 1.解壓sqoop-sqlserver-1.0.tar.gz,並改名(可以不改) tar -zxvf sqoop- sql
使用POI操作Excel將資料匯入mysql
原本的工程:POI-Excel.zip(下載)【需要自己註冊了一個碼雲帳號才可以下載】 利用POI將excel資料匯入資料庫目前還是比較流行,但是表格某些欄位需要進行特殊處理,比如日期,excel的日期在java裡面讀出來是一個數字(number)並非日期格式的字串,等等。1
使用sqoop將資料從hdfs中匯入mysql時,卡在INFO mapreduce.Job: map 100% reduce 0%的解決辦法
最近在將hdfs中已經處理好的資料匯入到mysql的時候遇到這麼一個現象,當任務執行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任務卡在map100% ,任何reduce不繼續執行。 總結了以下解決辦法: 一,如果沒
MapReduce將HDFS文字資料匯入HBase中
HBase本身提供了很多種資料匯入的方式,通常有兩種常用方式: 使用HBase提供的TableOutputFormat,原理是通過一個Mapreduce作業將資料匯入HBase 另一種方式就是使用HBase原生Client API 本文就是示範如何通過M
Kettle 將Oracle資料匯入HBase的注意事項
使用Kettle採集Oracle資料,匯入到HBase。 Kettle是一個比較好用的ETL工具,個人感覺Kettle比Sqoop還要好用,主要是因為Kettle通過視覺化,元件式拖拉配置
hive over hbase方式將文字庫資料匯入hbase
1,建立hbase表Corpus >> create 'Corpus','CF' 2,建立hive->hbase外表logic_Corpus,並對應hbase中的Corpus表 >> CREATE EXTERNAL TABLE logic_Co
Sqoop_具體總結 使用Sqoop將HDFS/Hive/HBase與MySQL/Oracle中的數據相互導入、導出
能夠 mes south ase form html 技術 popu 沒有 一、使用Sqoop將MySQL中的數據導入到HDFS/Hive/HBase 二、使用Sqoop將HDFS/Hive/HBase中的數據導出到MySQL 2.3 HBase中的數據
Hbase常用操作命令
desc repl col 目錄 刪除 AR shel BE 說明 Hbase常用操作命令 1. 進入hbase ./hbase shell 參數說明 進入到hbase目錄並進入hbase 2. 瀏覽所有表 list 參數說明
使用POI將資料匯入匯出資料庫。
POI將資料匯入匯出資料庫。(採用ssm框架) 1.前臺列表的展示 <script type="text/javascript"> //進行資料的全選 function selectAll(){ var ids=document.get
java後端伺服器讀取excel將資料匯入資料庫
使用的是easypoi,官網文件:http://easypoi.mydoc.io/ 1 /** 2 * 匯入Excel檔案 3 */ 4 @PostMapping("/importTeacher") 5 @ResponseBody 6 publi