1. 程式人生 > >使用Sqoop從PostgreSQL向Hive中遷移資料遇到的問題

使用Sqoop從PostgreSQL向Hive中遷移資料遇到的問題

postgreSQL的介面

跟mysql不同之處就是,多了一個 2 ,這也是導致資料遷移錯誤原因

1.資料庫名稱   2.schema  3.表名

PostgreSQL中的物件屬於三層模型,即database->schema->table。PostgreSQL中一般包含多個database,每個database包含多個schema,schema下包含多個表。因此使用sqoop抽取資料時有時需要指定表是屬於哪個schema。

解決方案:在程式碼最後指定--schema

-- --schema 上圖2的名稱

整個程式碼如下

./sqoop import --connect jdbc:postgresql://192.168.***.***:38888/bigdata --username postgres --password password --table tb_ecar_gps_zhengzhou_standard  --fields-terminated-by '\t' -m 1 --target-dir '/sqoop/postgresql123' -- --schema benchmark_data;

參考文章:https://blog.csdn.net/Post_Yuan/article/details/79799980