• 使用幫助

Sqoop help 檢視所有的sqoop的幫助

Sqoop help import 檢視import命令的幫助

Eg: sqoop匯入到HDFS的一個簡單示例:

sqoop import 

        --connect jdbc:mysql://192.168.56.121:3306/metastore 

        --username hiveuser 

        --password redhat 

        --table TBLS

• 匯入到HDFS

Eg:

sqoop import 

--connect jdbc:mysql://192.168.56.121:3306/metastore 
 

--username hiveuser 

--password redhat 

--table TBLS 

--target-dir /user/hive/result

注意:

•  mysql jdbc url 請使用 ip 地址
• 如果重複執行，會提示目錄已經存在，可以手動刪除
• 如果不指定 --target-dir，匯入到使用者家目錄下的 TBLS 目錄

其他引數說明

2.3 建立 hive 表

Eg:

sqoop 

        create-hive-table 

        --connect jdbc:mysql://192.168.56.121:3306/metastore 

        --username hiveuser 

        --password redhat 

        --table TBLS 

匯入資料到 hive

執行下面的命令會將 mysql 中的資料匯入到 hdfs 中，然後建立一個hive 表，最後再將 hdfs 上的檔案移動到 hive 表的目錄下面。

sqoop import 

        --connect jdbc:mysql://192.168.56.121:3306/metastore 

        --username hiveuser --password redhat 

        --table TBLS 

        --fields-terminated-by "\t"

        --lines-terminated-by "\n"

        --hive-import 

        --hive-overwrite 

        --create-hive-table 

        --hive-table dw_srclog.TBLS 

        --delete-target-dir

具體可以參照:https://segmentfault.com/a/1190000002532293

關於sqoop的匯出使用從hive中匯出到mysql:

Sqoop export

--connect jdbc:mysql://xxxxxx:3306/bbg_real_data?characterEncoding=utf-8

--username root  #表示資料庫使用者名稱

--password root  #表示資料庫密碼

--table deal_data  #表示資料表名

--hcatalog-database default  #hive中的資料庫名

--hcatalog-table deal_bbg_data_2  #表示hive中的表名

注意匯出的時候，mysql的欄位名要和hive裡面的欄位名一樣，這樣才能對應的匯入和匯出。欄位型別也要一樣，我全部都是varchar(40)。

Mysql表明和欄位名不能是關鍵字例如:all等等

Hive tutorrials

1. Create schema/table

Create schema[table] schema_name/table_name

1. Delete schema/table

Drop  database[table] if exists database_name[table_name] 

Detail please look at as follow: