Sqoop2使用方法簡介
1.sqoop2-shell 進入 shell
2.show connector 顯示支持的連接方式
3.show link -all 查看已有連接的信息
ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Administrator at 5/27/16 10:50 AM, Updated by Administrator at 5/27/16 10:50 AM)
Using Connector generic-jdbc-connector with id 4
Link configuration
JDBC Driver Class: com.mysql.jdbc.Driver
JDBC Connection String: ****************************************
Username:
Password:
JDBC Connection Properties:
4. create link -c 4 表示創建基於connector4 的link
創建的時候要輸入步驟3顯示的信息
5create job -f -t
-f 從哪個link
-t 到哪個link
(schema name,table name )和 table sql statement 是互斥的只能寫其中一個
table sql statement 要寫${CONDITIONS}
check column 和last value 兩個參數用作增量更新
這裏選擇普通文件(TEXT_FILE)和不壓縮(NONE)的方式進行導入,方便查看導入文件
創建成功會返回id
用show job -jid 18 查看job,id為18的詳細信息
6.如果報錯,想要顯示具體的錯誤信息,可以執行下列語句。
sqoop:000> set option -name verbose -value true
Verbose option was changed to true
設置前
設置後,可以在報錯信息中查看具體錯誤信息並排查。
start job -jid 18 -s
-s:表示實時顯示job的執行進度,默認不寫的話,只會顯示到job開始
7status job -jid 18
顯示 id為18的job的執行狀態
顯示執行成功
8.查看Hdfs控制臺
表明已經導入成功,如果還不放心 可以用
hadoop dfs -cat /tmp/xktest/文件名
來查看文件具體內容是否和表中的相同。
本文出自 “去買大白兔” 博客,轉載請與作者聯系!
Sqoop2使用方法簡介