1. 程式人生 > >記一發Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)

記一發Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)

sta 麻煩 參考 手動 需要 version test log all

直接下載Tez的binary包部署安裝是有問題的,因為默認支持hadoop版本為2.7,2.7以上的就需要手動編譯了。

  1. 下載Tez源碼

  2. CD到源碼文件夾,mvn install -Dhadoop.version=3.0.3 -DskipTests -Dmaven.javadoc.skip=true
    這裏有個需要註意的地方,tez-ui的編譯會很麻煩,因為偉大的墻。實在編譯不過就跳過tez-ui模塊吧……不影響其他部分的編譯。

編譯成功後,後面的步驟參考:https://blog.csdn.net/zhoudetiankong/article/details/52238551
這裏就不冗余的介紹了。

記一發Hive on tez的配置(Hive 3.1.1, Hadoop 3.0.3, Tez 0.9.1)