使用Sqoop從PostgreSQL向Hive中遷移資料遇到的問題
阿新 • • 發佈:2019-01-09
postgreSQL的介面
跟mysql不同之處就是,多了一個 2 ,這也是導致資料遷移錯誤原因
1.資料庫名稱 2.schema 3.表名
PostgreSQL中的物件屬於三層模型,即database->schema->table。PostgreSQL中一般包含多個database,每個database包含多個schema,schema下包含多個表。因此使用sqoop抽取資料時有時需要指定表是屬於哪個schema。
解決方案:在程式碼最後指定--schema
-- --schema 上圖2的名稱
整個程式碼如下
./sqoop import --connect jdbc:postgresql://192.168.***.***:38888/bigdata --username postgres --password password --table tb_ecar_gps_zhengzhou_standard --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;
參考文章:https://blog.csdn.net/Post_Yuan/article/details/79799980