Sqoop是一個用來將hadoop和關係型資料庫中的資料相互轉移的工具，可以將一個關係型資料庫(例如：mysql,oracle,等)中的資料匯入到hadoop的HDFS中，也可以將HDFS的資料匯入到關係型資料庫中。

1.簡介

首先切換到到hadoop使用者：su - hadoop

溫馨提示：oracle的所有表名列名都要大寫！！！

下面的程式碼，在命令列輸入的時候，可能要寫成一行

比如第一條需要寫成：

sqoop export --table Oracle_table_name --connect jdbc:oracle:thin:@ip:1521:資料庫名 --username 使用者名稱 --
 
password 密碼 --export-dir hdfs:/user/hive/warehouse/XXX --columns COLUMN1,2,3 --input-fields-terminated-by '\001' --input-lines-terminated-by '\n'

1.導hive表到Oracle

sqoop export 
--table Oracle_table_name 
--connect jdbc:oracle:thin:@ip:1521:資料庫名 
--username 使用者名稱
--password 密碼
--export-dir hdfs:/user/hive/warehouse/XXX
 

--columns COLUMN1,2,3, 
--input-fields-terminated-by '\001'  #或者其他分隔符，比如逗號等
--input-lines-terminated-by '\n'
注意：導hive表是“\001”

–解釋:

sqoop export
–table Oracle_table_name（// 資料庫Oracle的表名）

–connect jdbc:oracle:thin:@ip:1521:資料庫名
（//資料庫的地址，其中1521為埠號，預設都為1521，ibd為資料庫例項名）

–username使用者名稱（//資料庫使用者名稱）
–password使用者名稱（//資料庫密碼）

–export-dir hdfs:/user/hive/warehouse/XXX
（//hdfs上Hive表的絕對路徑）
–columns column1, column2…
(//資料庫表的所有列名)

–input-fields-terminated-by ‘\001’（列分隔符）
–input-lines-terminated-by ‘\n’ （行分隔符）

2. 查詢資料匯入到Oracle的資料是否成功

sqoop eval 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username XXX
--password XXX
--query "select * from table_name"

3.導Oracle表到hive表

sqoop import 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username xxx
--password xxx
--table TABLE_NAME
--columns COLUMN1,2,3...
--hive-import  
--hive-table  hive_table_name
-m 1

—解釋:

TABLE_NAME為oracle表名(切忌：Oracle個表名在命令中必須是大寫，不然會報錯)
hive_test為hive表名（hive中的這個表可以不用提前建，只用給表名即可，導成功後列名和Oracle表的列名相同）

4. 連線oracle資料庫，列出資料庫中的表

sqoop list-tables 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username xxx
--password xxx

5.從資料庫匯出表的資料到HDFS檔案(這個比較實用)

sqoop import 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username xxx
--password xxx
--table DD
--m 1 
--target-dir /home/dpt 

解釋：
DD為oracle表名(切忌：Oracle表名在命令中必須是大寫，不然會報錯)；
/home/dpt為目的目錄，如果沒有這個目錄則會在hdfs上自動建立這個目錄.
導成功後可以用命令檢視：

hadoop fs -text /home/dpt/part-m-00000

6.分割槽表的匯入

通過sqoop將hive中的表匯入到oracle中

sqoop export 
--table t_amap_all 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username xxx
--password xxx
--export-dir  hdfs://user/hive/warehouse/ 
--columns 1,2,3... 
--input-fields-terminated-by '\t' 
--input-lines-terminated-by '\n';

匯入分割槽表需要指定到具體分割槽目錄，不然會找不到資料，在oracle表中能指定分割槽這個欄位！
分隔符要遵循hive表的具體分隔符

導致任務失敗有可能是表名不一致，欄位不一致，oracle中的欄位大小不夠

2.可能遇到的問題

1. 連線oracle資料庫，列出資料庫中的表時

sqoop list-tables 
--connect jdbc:oracle:thin:@YOUR-IP-ADDRESS:1521:database-name
--username xxx
--password xxx

報錯：
16/01/28 09:27:15 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: oracle.jdbc.OracleDriver
則
1)發現sqoop的安裝目錄 /usr/lib/sqoop/lib中缺ojdbc驅動包,然後將驅動包（ojdbc6-11.2.0.1.0.jar）複製到your-ip的sqoop安裝目錄就可以了：
scp ./ojdbc6-11.2.0.1.0.jar [email protected]:/usr/lib/sqoop/lib

參考連結