將遠端伺服器上資料庫匯入到本地伺服器hive上流程
阿新 • • 發佈:2019-02-11
問題:公司對接的第三方公司的資料是存在sqlserver上,需要通過vpn的方式獲取資料並存儲到hive上。解決步驟如下:
1.通過VPN連線遠端伺服器,通過資料庫賬戶密碼連線遠端資料庫;
配置vpn參考:
https://jingyan.baidu.com/article/3052f5a1c99c0497f31f86ad.html
2.遠端資料庫為SQLserver,通過ODBC驅動將資料匯入到本地Mysql中;具體細節參考:
3.將本地mysql資料庫中資料備份到19伺服器資料庫上;
方法一:通過右鍵目標資料庫,選擇資料傳輸選項,配置相關資料庫連線和選擇好表即可;
方法二:通過轉儲sql檔案的形式,先匯出sql檔案,再在目標資料庫執行sql檔案,該方法比較繁瑣,適合小資料量備份。
4.通過sqoop工具將19伺服器上mysql資料表匯入到hive上;參考命令如下:
sqoop import -m 1 --connect jdbc:mysql://ip:3306/database--username username --password password --table tablename --hive-import--hive-database hivedatabase --hive-overwrite --create-hive-table --hive-table hivetablename--delete-target-dir