sqoop import export引數介紹
阿新 • • 發佈：2018-11-04
通用引數
| 選項 | 含義說明 |
|---|---|
| –connect | 指定JDBC連線字串 |
| –connection-manager | 指定要使用的連線管理器類 |
| –driver | 指定要使用的JDBC驅動類 |
| –hadoop-mapred-home
|
指定$HADOOP_MAPRED_HOME路徑 |
| –help | 列印用法幫助資訊 |
| –password-file | 設定用於存放認證的密碼資訊檔案的路徑 |
| -P | 從控制檯讀取輸入的密碼 |
| –password | 設定認證密碼 |
| –username | 設定認證使用者名稱 |
| –verbose | 列印詳細的執行資訊 |
| –connection-param-file | 可選，指定儲存資料庫連線引數的屬性檔案 |
import
| 選項 | 含義說明 |
|---|---|
| –append | 將資料追加到HDFS上一個已存在的資料集上 |
| –as-avrodatafile | 將資料匯入到Avro資料檔案 |
| –as-sequencefile | 將資料匯入到SequenceFile |
| –as-textfile | 將資料匯入到普通文字檔案（預設） |
| –boundary-query | 邊界查詢，用於建立分片（InputSplit） |
| –columns <col,col,col…> | 從表中匯出指定的一組列的資料 |
| –delete-target-dir | 如果指定目錄存在，則先刪除掉 |
| –direct | 使用直接匯入模式（優化匯入速度） |
| –direct-split-size | 分割輸入stream的位元組大小（在直接匯入模式下） |
| –fetch-size | 從資料庫中批量讀取記錄數 |
| –inline-lob-limit | 設定內聯的LOB物件的大小 |
| -m,–num-mappers | 使用n個map任務並行匯入資料 |
| -e,–query | 匯入的查詢語句 |
| –split-by | 指定按照哪個列去分割資料 |
| –table | 匯入的源表表名 |
| –target-dir
|
匯入HDFS的目標路徑 |
| –warehouse-dir
|
HDFS存放表的根路徑 |
| –where | 指定匯出時所使用的查詢條件 |
| -z,–compress | 啟用壓縮 |
| –compression-codec | 指定Hadoop的codec方式（預設gzip） |
| –null-string | 果指定列為字串型別，使用指定字串替換值為null的該類列的值 |
| –null-non-string <null-string | 如果指定列為非字串型別，使用指定字串替換值為null的該類列的值 |
export
| 選項 | 含義說明 |
|---|---|
| –validate | 啟用資料副本驗證功能，僅支援單表拷貝，可以指定驗證使用的實現類 |
| –validation-threshold | 指定驗證門限所使用的類 |
| –direct | 使用直接匯出模式（優化速度） |
| –export-dir
|
匯出過程中HDFS源路徑 |
| -m,–num-mappers | 使用n個map任務並行匯出 |
| –table | 匯出的目的表名稱 |
| –call | 匯出資料呼叫的指定儲存過程名 |
| –update-key | 更新參考的列名稱，多個列名使用逗號分隔 |
| –update-mode | 指定更新策略，包括：updateonly（預設）、allowinsert |
| –input-null-string | 使用指定字串，替換字串型別值為null的列 |
| –input-null-non-string | 使用指定字串，替換非字串型別值為null的列 |
| –staging-table | 在資料匯出到資料庫之前，資料臨時存放的表名稱 |
| –clear-staging-table | 清除工作區中臨時存放的資料 |
| –batch | 使用批量模式匯出 |