使用 Sqoop 從 MySQL 同步表到 Hive 叢集
阿新 • • 發佈:2018-11-19
Sqoop 是 Cloudera 公司創造的一個數據同步工具,現在已經完全開源了。
目前已經是 hadoop 生態環境中資料遷移的首選,另外還有 ali 開發的 DataX 屬於同類型工具,由於社群的廣泛使用和文件的健全,調研之後決定使用 Sqoop 來做我們之後資料同步的工具。
Reference:
https://archive.cloudera.com/cdh6/6.0.1/docs/sqoop-1.4.7-cdh6.0.1/SqoopUserGuide.html Sqoop User Guide (v1.4.7-cdh6.0.1)
https://blog.csdn.net/Gavin_chun/article/details/78314065 SQOOP從MySQL匯入資料到Hive
https://segmentfault.com/a/1190000002532293 sqoop 匯入關係資料庫到 hive
https://blog.csdn.net/myrainblues/article/details/43673129 sqoop使用中文手冊
https://blog.csdn.net/lyp5257918/article/details/53820690 sqoop抽取文字資料到hive由於存在空字元導致欄位錯位和丟失錯誤
https://www.youtube.com/watch?v=72M5lMP8dMg COSO IT Sqoop Tutorial