1. 程式人生 > >sqoop常用命令

sqoop常用命令

1列出mysql資料庫中的所有資料庫

 sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -password 000000

2、連線mysql並列出資料庫中的表

sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000

3、將關係型資料的表結構複製到hive

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username dyh 

--password 000000 --hive-table users  --fields-terminated-by "\0001"  --lines-terminated-by "\n";

引數說明:

--fields-terminated-by "\0001"  是設定每列之間的分隔符,"\0001"是ASCII碼中的1,它也是hive的預設行內分隔符, 而sqoop的預設行內分隔符為"," 

--lines-terminated-by "\n"  設定的是每行之間的分隔符,此處為換行符,也是預設的分隔符;

注意:只是複製表的結構,表中的內容沒有複製


4、將資料從關係資料庫匯入檔案到hive表中

sqoop import --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000 

--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";

引數說明:

 -m 2 表示由兩個map作業執行;

--fields-terminated-by "\0001"  需同建立hive表時保持一致;

5hive中的表資料匯入到mysql資料庫表中

sqoop export --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 

--table users --export-dir /user/hive/warehouse/users/part-m-00000 

--input-fields-terminated-by '\0001'

注意:

1、在進行匯入之前,mysql中的表userst必須已經提起建立好了。

2、jdbc:mysql://192.168.20.118:3306/test中的IP地址改成localhost會報異常,具體見本人上一篇帖子

6、將資料從關係資料庫匯入檔案到hive表中,--query 語句使用

 sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --query "select id,age,name from userinfos where \$CONDITIONS"  -m 1  --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";

7、將資料從關係資料庫匯入檔案到hive表中,--columns  --where 語句使用

 sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --table userinfos --columns "id,age,name"  --where "id > 3 and (age = 88 or age = 80)"  -m 1  --target-dir /user/hive/warehouse/userinfos2 --fields-terminated-by ",";

注意:--target-dir /user/hive/warehouse/userinfos2   可以用  --hive-import --hive-table userinfos2 進行替換

相關推薦

Sqoop常用命令及引數二

4.create-hive-table 生成與關係資料庫表結構對應的 hive 表結構 --hive-home <dir> Hive 的安裝目錄,可以通過該引數覆蓋掉預設的 Hive 目 錄 --hive-overwrite 覆蓋掉在 H

大資料(二十七):Sqoop常用命令和公用引數

一、常用命令列舉 命令 類 說明 import ImportTool 將資料匯入到叢集 export ExportTool

sqoop 常用命令整理

sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \ --direct -- --default-character-set=latin110.轉換為物件  --map-column-java <mapping&g

Sqoop-常用命令及引數

1、Sqoop常用命令及引數 2、命令&引數詳解 剛才列舉了一些 Sqoop 的常用命令,對於不同的命令,有不同的引數,讓我們來一一列舉說明。 首先來我們來介紹一下公用的引數,所謂公用引數,就是大多數命令都支援的引數。 2.1、公用引數:資料庫連線 2.2、公用引

sqoop常用命令

1、列出mysql資料庫中的所有資料庫  sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username dyh -password 000000 2、連線mysql並列出資料庫中的表 sqoop

sqoop 常用命令整理(一)

這些內容是從sqoop的官網整理出來的,是1.4.3版本的Document,如果有錯誤,希望大家指正。      1.使用sqoop匯入資料  sqoop import --connect jdbc:mysql://localhost/db --username foo --

sqoop常用命令

判斷 語法 war app fields hive and pre def 1. 基礎命令 列出MySQL中有那些數據庫 sqoop list-databases \ --connect jdbc:mysql://hadoop01:3306/ --username ha

[Sqoop02]Sqoop常用操作命令

18/01/06 15:18:54 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.018/01/06 15:18:54 WARN tool.BaseSqoopTool: Setting your password on the command-li

oozie 常用命令

3.3 ued submit operation -s clean up sim killed require 1.驗證wokflow.xmloozie validate /appcom/apps/hduser0401/mbl_webtrends/workflow.xml 

Linux下常用命令之sed學習總結

linux sed sed命令 正則表達式 sed總結 Sed功能說明:Sed是linux下一個強大的文本文件處理工具,通過對文件增加、刪除、查找、查詢操作,配合正則表達式以實現工作中的各種需求。同時也是一名運維人員必須掌握的核心技能。---------------------------

【長期更新】Ubuntu常用命令備忘錄

err bsp ubuntu lib ubunt clas apt 問題 error Error Could not get lock /var/lib/dpkg/lock 出現這個問題可能是有另外一個程序正在運行,導致資源被鎖不可用。而導致資源被鎖的原因可能是上次運行安

mysql 常用命令

mysql命令說明BEGIN COMMITmysql在客戶端執行更新、刪除開啟一個事務:BEGIN;UPDATE driver SET phone=‘11601620000‘ WHERE id=1;--ROLLBACK;COMMIT;DATE_FORMAT%Y-%m-%d %H-%iIFNULL(price,

Linux的常用命令

linux的常用命令 lofout 退出登錄 mount 查看系統當中已經掛載的設備 mount -a 依據配置文件/etc/fstab的內容,自動掛載 who 查看系統登錄了哪些用戶(能看到用戶名,登錄終端,登陸時間登錄IP) w 查看系統登錄了哪些用戶(跟who一樣,但是還能

【Mysql】常用命令

flush mysq tmp pri nec 清除 int 用戶 創建 登錄mysql -uroot -p 查看有哪些數據庫show databases; 創建一個普通用戶 sa ,密碼是 some_passCREATE USER [email protecte

Linux GCC常用命令

靜態加載 配置文件 情況 窗口 連接器 執行 二進制 c 語言 標準輸入輸出 Linux GCC常用命令 1簡介 2簡單編譯 2.1預處理 2.2編譯為匯編代碼(Compilation) 2.3匯編(Assembly) 2.4連接(Linking) 3

Docker常用命令詳解

nbsp 詳解 .cn 本地 test 並且 www 更多 top docker ps 查看當前正在運行的容器 docker ps -a 查看所有容器的狀態 docker start/stop id/name 啟動/停止某個容器 docker attach id 進

Linux常用命令

log rep 移動 文件權限 查看 his 問題 文件 學習 以下是本人在工作中常用到的Linux命令,記錄下來,方便日常工作學習查用翻閱。 Git管理代碼 【系統操作】 cd 進入目錄 cd ~ 回到根目錄 ls 查看當前目錄下的文件 less 查看某個文件內

Linux常用命令總結

bashrc 命令 配置環境 bit stat 用戶權限 復制 rtu one Linux文件的目錄結構:樹狀結構,/為最高的根目錄 root:root用戶的個人文件夾(家目錄) bin:存放多數用戶可用的命令 boot:存放啟動文件和

DOS常用命令集錦

dos1 復制文件夾(目錄樹): 例1: xcopy dir1 dir2 /E [/I] dir2已存在的情況下,會把dir1目錄裏的所有文件子目錄復制到dir2目錄中, dir2不存在的情況下,會有提示詢問你dir2是文件呢?還是目錄呢?手動選擇目錄選項自動創建d

npm常用命令

全局環境 cache 寫入 -m 指定 .json 其中 body 依賴 npm install xxx 安裝模塊 npm install xxx -g 將模塊安裝到全局環境中 參考http://goddyzhao.tumblr.com/post/9835631010