hive匯出資料導本地的方法
阿新 • • 發佈:2019-01-29
hive匯出查詢檔案到本地檔案的2種辦法
通過HQL語句
可以將hive 中表的資料生成到指定的目錄。
有時候 我們可以利用hive來生成統計的中間檔案(比原始檔小的多的)
方法有如下2種:
www.2cto.com
1.INSERT OVERWRITE LOCAL DIRECTORY
將結果輸出到指定的目錄:
生成的檔案數 和redurcer的數目的一樣的
在hive下面執行
INSERT OVERWRITE LOCAL DIRECTORY '/hive_dat/package_name'
select package_name,count(1) from app_list group by package_name;
2.直接查詢生成結果檔案:
在linux下面執行:(也支援後臺執行 如果執行時間比較長的話)
hive -S -e"select package_name,count(1) from app_list group by package_name;"> grp_app_id.dat
這個只生成一個檔案 並且輸出的檔案裡面的列 是以空格隔開的。