sqoop 常用命令整理（一）

阿新 • • 發佈：2019-01-24

這些內容是從sqoop的官網整理出來的，是1.4.3版本的Document，如果有錯誤，希望大家指正。

1.使用sqoop匯入資料

　　sqoop import --connect jdbc:mysql://localhost/db --username foo --table TEST

　　2.賬號密碼

    sqoop import --connect jdbc:mysql://database.example.com/employees \
    --username aaron --password 12345

　　3.驅動

    sqoop import --driver com.microsoft.jdbc.sqlserver.SQLServerDriver \
    --connect <connect-string 
> ...

　　 4.寫sql語句匯入的方式

    sqoop import \
  --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \
  --split-by a.id --target-dir /user/foo/joinresults

　　如果是順序匯入的話，可以只開一個執行緒

    sqoop import \
  --query 'SELECT a.*, b.* FROM a JOIN b on (a.id == b.id) WHERE $CONDITIONS' \
  -m 1 --target-dir 
 /user/foo/joinresults

　　如果where語句中有要用單引號的，就像這樣子寫就可以啦"SELECT * FROM x WHERE a='foo' AND \$CONDITIONS"

　　5. 1.4.3版本的sqoop不支援複雜的sql語句，不支援or語句

　　6. --split-by <column-name>
　　預設是主鍵，假設有100行資料，它會執行那個SELECT * FROM sometable WHERE id >= lo AND id < hi,
　　with (lo, hi) 會分為4次匯入（0,250），（250,500），(500,750),(750,1001)
　　如果這個欄位不能達到實際的劃分區域的效果，可以用別的欄位。如果沒有索引列或者是組合主鍵的表，需要手動設定一個劃分列

　　7. --direct 是為了利用某些資料庫本身提供的快速匯入匯出資料的工具，比如mysql的mysqldump
　　效能比jdbc更好，但是不知大物件的列，使用的時候，那些快速匯入的工具的客戶端必須的shell指令碼的目錄下

　　8.匯入資料到hdfs目錄，這個命令會把資料寫到/shared/foo/ 目錄

    sqoop import --connnect <connect-str> --table foo --warehouse-dir /shared \

　　或者

    sqoop import --connnect <connect-str> --table foo --target-dir /dest \

　　9.傳遞引數給快速匯入的工具，使用--開頭，下面這句命令傳遞給mysql預設的字符集是latin1

    sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \
    --direct -- --default-character-set=latin1

　　10.轉換為物件
　　--map-column-java <mapping> 轉換為java資料型別
　　--map-column-hive <mapping> 轉轉為hive資料型別

　　11.增加匯入
　　--check-column (col) Specifies the column to be examined when determining which rows to import.
　　--incremental (mode) Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.
　　--last-value (value) Specifies the maximum value of the check column from the previous import.

　　增加匯入支援兩種模式append和lastmodified，用--incremental來指定

　　12.在匯入大物件，比如BLOB和CLOB列時需要特殊處理，小於16MB的大物件可以和別的資料一起儲存，超過這個值就儲存在_lobs的子目錄當中

　　它們採用的是為大物件做過優化的儲存格式，最大能儲存2^63位元組的資料，我們可以用--inline-lob-limit引數來指定每個lob檔案最大的限制是多少

　　如果設定為0，則大物件使用外部儲存

　　13.分隔符、轉移字元

　　下面的這句話
　　Some string, with a comma.
　　Another "string with quotes"
　　使用這句命令匯入$ sqoop import --fields-terminated-by , --escaped-by \\ --enclosed-by '\"' ...
　　會有下面這個結果
　　"Some string, with a comma.","1","2","3"...
　　"Another \"string with quotes\"","4","5","6"...
　　使用這句命令匯入$ sqoop import --optionally-enclosed-by '\"' (the rest as above)...
　　"Some string, with a comma.",1,2,3...
　　"Another \"string with quotes\"",4,5,6...

　　14.hive匯入引數
　　--hive-home <dir> 重寫$HIVE_HOME
　　--hive-import          插入資料到hive當中，使用hive的預設分隔符
　　--hive-overwrite 重寫插入
　　--create-hive-table 建表，如果表已經存在，該操作會報錯！
　　--hive-table <table-name> 設定到hive當中的表名
　　--hive-drop-import-delims 匯入到hive時刪除 \n, \r, and \01
　　--hive-delims-replacement 匯入到hive時用自定義的字元替換掉 \n, \r, and \01
　　--hive-partition-key          hive分割槽的key
　　--hive-partition-value <v> hive分割槽的值
　　--map-column-hive <map>          型別匹配，sql型別對應到hive型別

　　15.hive空值處理
　　sqoop會自動把NULL轉換為null處理，但是hive中預設是把\N來表示null，因為預先處理不會生效的
　　我們需要使用 --null-string 和 --null-non-string來處理空值把\N轉為\\N

    sqoop import  ... --null-string '\\N' --null-non-string '\\N'

　　16.匯入資料到hbase
　　匯入的時候加上--hbase-table，它就會把內容匯入到hbase當中，預設是用主鍵作為split列
　　也可以用--hbase-row-key來指定，列族用--column-family來指定,它不支援--direct。
　　如果不想手動建表或者列族，就用--hbase-create-table引數

　　17.程式碼生成引數，沒看懂
　　--bindir <dir> Output directory for compiled objects
　　--class-name <name> Sets the generated class name. This overrides --package-name. When combined with --jar-file, sets the input class.
　　--jar-file <file> Disable code generation; use specified jar
　　--outdir <dir> Output directory for generated code
　　--package-name <name> Put auto-generated classes in this package
　　--map-column-java <m> Override default mapping from SQL type to Java type for configured columns.

　　18.通過配置檔案conf/sqoop-site.xml來配置常用引數

 <property>
    <name>property.name</name>
    <value>property.value</value>
 </property>

　　如果不在這裡面配置的話，就需要像這樣寫命令

    sqoop import -D property.name=property.value ...

　　19.兩個特別的引數
　　sqoop.bigdecimal.format.string 大decimal是否儲存為string，如果儲存為string就是 0.0000007,否則則為1E7
　　sqoop.hbase.add.row.key 是否把作為rowkey的列也加到行資料當中，預設是false的

　　20.例子

#指定列
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --columns "employee_id,first_name,last_name,job_title"
#使用8個執行緒
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    -m 8
#快速模式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --direct
#使用sequencefile作為儲存方式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --class-name com.foocorp.Employee --as-sequencefile
#分隔符
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --fields-terminated-by '\t' --lines-terminated-by '\n' \
    --optionally-enclosed-by '\"'
#匯入到hive
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --hive-import
#條件過濾
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --where "start_date > '2010-01-01'"
#用dept_id作為分個欄位
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --split-by dept_id
#追加匯入
$ sqoop import --connect jdbc:mysql://db.foo.com/somedb --table sometable \
    --where "id > 100000" --target-dir /incremental_dataset --append

　　21.匯入所有的表sqoop-import-all-tables
　　每個表都要有主鍵，不能使用where條件過濾　

    sqoop import-all-tables --connect jdbc:mysql://db.foo.com/corp

　　22.export

　　我們採用sqoop-export插入資料的時候，如果資料已經存在了，插入會失敗
　　如果我們使用--update-key，它會認為每個資料都是更新，比如我們使用下面這條語句

   sqoop-export --table foo --update-key id --export-dir /path/to/data --connect …
　　UPDATE foo SET msg='this is a test', bar=42 WHERE id=0;
　　UPDATE foo SET msg='some more data', bar=100 WHERE id=1;
　　...

　　這樣即使找不到它也不會報錯

　　23.如果存在就更新，不存在就插入
　　加上這個引數就可以啦--update-mode allowinsert

　　24.事務的處理
　　它會一次statement插入100條資料，然後每100個statement提交一次，所以一次就會提交10000條資料

　　25.例子

$ sqoop export --connect jdbc:mysql://db.example.com/foo --table bar  \
    --export-dir /results/bar_data

$ sqoop export --connect jdbc:mysql://db.example.com/foo --table bar  \
    --export-dir /results/bar_data --validate

$ sqoop export --connect jdbc:mysql://db.example.com/foo --call barproc \
    --export-dir /results/bar_data

sqoop 常用命令整理（一）

sqoop 常用命令整理（一）

Linux基礎之常用命令整理（一）

windows下rabbitmq 常用命令整理（一）

linux常用命令整理（五）：shell基礎

linux常用命令雜記（一）--Lsof

Git 常用命令總結（一）

Linux基礎之常用命令整理（二）

Git常用命令列（一）

Linux命令整理（一）

opencv常用函式整理（一）

Android常用adb命令總結（一）

kafka 常用運維命令介紹（一）

常用SQL命令彙總（一）-增刪改及單表查詢

Logstash語法常用案例解析（一）

Java基礎知識整理（一）

Linux進程相關的內容及命令小結（一）

linux命令小結（一）

python基礎整理（一）

R基礎整理（一）

MySQL整理（一）

sqoop 常用命令整理（一）

相關推薦