1. 程式人生 > >Sqoop2使用方法簡介

Sqoop2使用方法簡介

大數據 sqoop 數據處理

1.sqoop2-shell 進入 shell


2.show connector 顯示支持的連接方式

技術分享技術分享

技術分享


3.show link -all 查看已有連接的信息


ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Administrator at 5/27/16 10:50 AM, Updated by Administrator at 5/27/16 10:50 AM)

Using Connector generic-jdbc-connector with id 4

Link configuration

JDBC Driver Class: com.mysql.jdbc.Driver

JDBC Connection String: ****************************************

Username:

Password:

JDBC Connection Properties:


4. create link -c 4 表示創建基於connector4 的link


創建的時候要輸入步驟3顯示的信息



5create job -f -t


-f 從哪個link

-t 到哪個link


(schema name,table name )和 table sql statement 是互斥的只能寫其中一個


table sql statement 要寫${CONDITIONS}


check column 和last value 兩個參數用作增量更新


這裏選擇普通文件(TEXT_FILE)和不壓縮(NONE)的方式進行導入,方便查看導入文件


技術分享技術分享




創建成功會返回id


用show job -jid 18 查看job,id為18的詳細信息



6.如果報錯,想要顯示具體的錯誤信息,可以執行下列語句。

sqoop:000> set option -name verbose -value true

Verbose option was changed to true


設置前

技術分享

技術分享

設置後,可以在報錯信息中查看具體錯誤信息並排查。


技術分享技術分享




start job -jid 18 -s

-s:表示實時顯示job的執行進度,默認不寫的話,只會顯示到job開始



7status job -jid 18

顯示 id為18的job的執行狀態

技術分享

技術分享



顯示執行成功


8.查看Hdfs控制臺

技術分享技術分享


表明已經導入成功,如果還不放心 可以用

hadoop dfs -cat /tmp/xktest/文件名

來查看文件具體內容是否和表中的相同。


本文出自 “去買大白兔” 博客,轉載請與作者聯系!

Sqoop2使用方法簡介