hadoop tez 搭建

1、下載tez，本人下載的是bin.0.92版本。

http://www.apache.org/dyn/closer.lua/tez/0.9.2/

hadoop dfs -mkdir -p /apps/tez

tar -zxvf apache-tez-0.9.2-bin.tar.gz

hadoop dfs -copyFromLocal tez.tar.gz /apps/tez

2、在hadoop/etc/hadoop下創建 tez-site.xml文件，內容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="
 
text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>tez.lib.uris</name>
<!-- hdfs tez 包目錄 -->    <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property>
<property>
   <name>tez.use.cluster.hadoop-libs</name>
    <value>false
 
</value>
</property>
</configuration>

在 hadoo-env.sh 下面追加

# hadoop tez 配置文件位置
TEZ_CONF_DIR=/software/hadoop/etc/hadoop/tez-site.xml  
# tez 路徑
TEZ_JARS=/softeware/tez  
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*  

GitHub安裝配置說明地址：https://github.com/apache/incubator-tez/blob/branch-0.2.0/INSTALL.txt
 
官網參考：http://tez.apache.org/install.html

解壓縮在tez 目錄下面找到share 目錄

3、將mapred-site.xml 的yarn 模式改成yarn-tez 模式

<property>  
     <name>mapreduce.framework.name</name>  
     <!-- <value>yarn</value> -->                                                                                                                                                                        
     <value>yarn-tez</value>  
     <final>true</final>  
</property>  
將修改完成的 tez-site.xml 和 mapred-site.xml 發送到其他節點

重新啟動yarn就可以了
在tez 測試
hadoop dfs -put LINCENSE /data/input

hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output  

如圖示則是成功


5、可能出現異常解決方式。



 如果出現上述問題，則可能是 tez container 內存多大導致
可實際情況修改 在tez-site.xml 下面寫入

<property>  
<name>tez.container.max.java.heap.fraction</name>    
<value>0.13</value>  
</property>

我的調整比例是 0.13， 自己可據實際情況去修改

不用重啟yarn 直接進行測試
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output 
如果出現如下問題：

則根據提示在tez-site.xml 後面追加相應配置參數，根據實際情況去修改參數配置。不出現該問題不管就ok

<property>
<name>tez.runtime.io.sort.mb</name>
<value>85</value>
</property>

到此終於跑通了

我的 tez-site.xml 完成配置，自己跟自己實際需求配置就可以了

<property>
   <name>tez.lib.uris</name>
   <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property>

<property>
   <name>tez.use.cluster.hadoop-libs</name>
   <value>false</value>
</property>

<property>
  <name>tez.container.max.java.heap.fraction</name>
  <value>0.13</value>
</property>

<property>
  <name>tez.runtime.io.sort.mb</name>
  <value>85</value>
</property>

轉發請標明來源連接

hadoop tez 結合搭建以及測試異常解決