hive 更換 tez 引擎(二)
阿新 • • 發佈:2021-12-05
1、下載
這裡選擇的版本是 0.9.2
,下載地址
[hadoop@hadoop1 big_source]$ tar -zxvf apache-tez-0.9.2-bin.tar.gz
[hadoop@hadoop1 big_source]$ mv apache-tez-0.9.2-bin tez-0.9.2
2、上傳至 HDFS
為了使各個節點都能夠使用 Tez
引擎進行計算,需要將下載好的依賴包上傳至 HDFS
:
[hadoop@hadoop1 big_source]$ hadoop fs -mkdir /tez [hadoop@hadoop1 big_source]$ hadoop fs -put apache-tez-0.9.2-bin.tar.gz /tez
3、修改配置
hive/conf
下新建 tez-site.xml
:
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <!--指定要讀取的tez的jar包地址 --> <name>tez.lib.uris</name> <value>${fs.defaultFS}/tez/apache-tez-0.9.2-bin.tar.gz</value> </property> <property> <!-- tez可使用叢集的jar包 --> <name>tez.use.cluster.hadoop-libs</name> <value>true</value> </property> <property> <name>tez.history.logging.service.class</name> <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value> </property> </configuration>
在 hive-env.sh
中的增加以下內容:
export TEZ_HOME=/home/hadoop/apps/big_source/tez-0.9.2 export TEZ_JARS="" for jar in `ls $TEZ_HOME |grep jar`; do export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/$jar done for jar in `ls $TEZ_HOME/lib`; do export TEZ_JARS=$TEZ_JARS:$TEZ_HOME/lib/$jar done export TEZ_JARS=${TEZ_JARS:1} HIVE_AUX_JARS_PATH=$TEZ_JARS
在 hive-site.xml
中更改 hive
計算引擎為 tez
:
<property>
<name>hive.execution.engine</name>
<value>tez</value>
</property>
4、關閉虛擬記憶體檢查
除了關閉虛擬記憶體檢查,還需要調大記憶體,修改 hadoop
叢集 hadoop-2.7.5/etc/hadoop/yarn-site.xml
:
<!-- 調大記憶體 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
<description>default value is 1024,yarn 的虛擬記憶體</description>
</property>
<!-- 關掉虛擬記憶體檢查 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3.0</value>
</property>
5、將 yarn-site.xml
分發到其他節點,並重啟 hadoop
叢集:
[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml [email protected]:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop
[hadoop@hadoop1 apps]$ scp hadoop-2.7.5/etc/hadoop/yarn-site.xml [email protected]:/home/hadoop/apps/hadoop-2.7.5/etc/hadoop