1. 程式人生 > >Hive數據壓縮

Hive數據壓縮

技術分享 int hive數據 bsp 語句 apr reduce res exec

****幾個配置方式:
>>>MR程序
>>>mapred-site.xml
>>>hive命令行


1.Map端數據輸出壓縮
set hive.exec.compress.intermediate = true;
set mapreduce.map.output.compress = true;
set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;


2.Reduce端數據輸出壓縮

set hive.exec.compress.output = true;
set mapreduce.output.fileoutputformat.compress = true;
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

然後在hive 執行sql語句即可,

技術分享圖片

可以在yarn的日誌頁面看到該job的運行參數,明顯已經發生了變化:

技術分享圖片

Hive數據壓縮