1. 程式人生 > 其它 >hive 更換 tez 引擎(二)

hive 更換 tez 引擎(二)

1、下載

這裡選擇的版本是 0.9.2下載地址

[hadoop@hadoop1 big_source]$ tar -zxvf apache-tez-0.9.2-bin.tar.gz
[hadoop@hadoop1 big_source]$ mv apache-tez-0.9.2-bin tez-0.9.2

2、上傳至 HDFS

為了使各個節點都能夠使用 Tez 引擎進行計算,需要將下載好的依賴包上傳至 HDFS

[hadoop@hadoop1 big_source]$ hadoop fs -mkdir /tez
[hadoop@hadoop1 big_source]$ hadoop fs -put apache-tez-0.9.2-bin.tar.gz /tez

3、修改配置

hive/conf 下新建 tez-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
     <!--指定要讀取的tez的jar包地址 -->
     <name>tez.lib.uris</name>
     <value>${fs.defaultFS}/tez/apache-tez-0.9.2-bin.tar.gz</value>
  </property>
  <property>
     <!-- tez可使用叢集的jar包 -->
     <name>tez.use.cluster.hadoop-libs</name>
     <value>true</value>
  </property>
  <property>
     <name>tez.history.logging.service.class</name>
     <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
  </property>
</configuration>

hive-env.sh 中的增加以下內容:

export TEZ_HOME=/home/hadoop/apps/big_source/tez-0.9.2
export TEZ_JARS=""
for jar in `ls $TEZ_HOME |grep jar`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar
done
for jar in `ls $TEZ_HOME/lib`; do
export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar
done
export
TEZ_JARS=${TEZ_JARS:1}
HIVE_AUX_JARS_PATH=$TEZ_JARS

hive-site.xml 中更改 hive 計算引擎為 tez

<property>
    <name>hive.execution.engine</name>
    <value>tez</value>
</property>

4、關閉虛擬記憶體檢查

除了關閉虛擬記憶體檢查,還需要調大記憶體,修改 hadoop 叢集 hadoop-2.7.5/etc/hadoop/yarn-site.xml

<!-- 調大記憶體 -->
 <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
        <description>default value is 1024,yarn 的虛擬記憶體</description>
</property>

<!-- 關掉虛擬記憶體檢查 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>3.0</value>
</property>

5、將 yarn-site.xml 分發到其他節點,並重啟 hadoop 叢集:

[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml [email protected]:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml [email protected]:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

參考:Hive更換Tez計算引擎