Sqoop簡介及工作機制、Sqoop1和Sqoop2區別
什麼是Sqoop？
Sqoop 是 apache 旗下一款“Hadoop 和關係資料庫伺服器之間傳送資料”的工具。
核心的功能有兩個：
1、匯入、遷入
2、匯出、遷出
匯入資料：MySQL，Oracle 匯入資料到 Hadoop 的 HDFS、HIVE、HBASE 等資料儲存系統
匯出資料：從 Hadoop 的檔案系統中匯出資料到關係資料庫 mysql 等 Sqoop 的本質還是一個命令列工具，和 HDFS，Hive 相比，並沒有什麼高深的理論。
Sqoop：
工具：本質就是遷移資料， 遷移的方式：就是把sqoop的遷移命令轉換成MR程式
hive
工具，本質就是執行計算，依賴於HDFS儲存資料，把SQL轉換成MR程式
工作機制：
將匯入或匯出命令翻譯成 MapReduce 程式來實現 在翻譯出的 MapReduce 中主要是對 InputFormat 和 OutputFormat 進行定製。
Sqoop1和Sqoop2區別：
Sqoop1.x中，僅僅使用了一個Sqoop客戶端，它是單使用者的、架構部署簡單。客戶端傳送命令到Sqoop，Sqoop轉換為MapReduce作業執行在Hadoop叢集環境上，從而實現RDBMS和Hadoop之間相互匯入匯出。Sqoop1.x只一個mapreduce作業，只有map沒有reduce。
Sqoop2.x 中，引入了sqoop server集中化管理Connector，支援多種互動方式：命令列、Web UI、Rest API，所有的連結安裝在sqoop server上，完善了許可權管理機制（可配置管理員、使用者等角色），Connector規範化（ 不再包含資料傳輸，格式轉換、與Hive、Hbase互動等功能僅負責資料讀寫）。Sqoop2.x中的MapReduce作業既有Map也有Reduce。
Sqoop1和Sqoop2功能性對比：
| 功能 | Sqoop1 | Sqoop2 |
| 用於所有主要 RDBMS 的聯結器 | 支援 | 不支援 解決辦法： 使用已在以下資料庫上執行測試的通用 JDBC 聯結器： Microsoft SQL Server 、 PostgreSQL 、 MySQL 和 Oracle 。 此聯結器應在任何其它符合 JDBC 要求的資料庫上執行。但是，效能可能無法與 Sqoop 中的專用聯結器相比 |
| Kerberos 安全整合 | 支援 | 不支援 |
| 資料從 RDBMS 傳輸至 Hive 或 HBase | 支援 | 不支援 解決辦法： 按照此兩步方法操作。 將資料從 RDBMS 匯入 HDFS 在 Hive 中使用相應的工具和命令（例如 LOAD DATA 語句），手動將資料載入 Hive 或 HBase |
| 資料從 Hive 或 HBase 傳輸至 RDBMS | 不支援 解決辦法： 按照此兩步方法操作。 從 Hive 或 HBase 將資料提取至 HDFS （作為文字或 Avro 檔案） 使用 Sqoop 將上一步的輸出匯出至 RDBMS |
不支援 按照與 Sqoop 1 相同的解決方法操作 |
部分資料來源：
1、https://www.cnblogs.com/qingyunzong/p/8807252.html
2、https://blog.csdn.net/lilychen1983/article/details/80241368