1. 程式人生 > >hive 自定定義函式 從hdfs中載入jar

hive 自定定義函式 從hdfs中載入jar

1、編寫函式

  1. package com.example.hive.udf;  
  2. import org.apache.hadoop.hive.ql.exec.UDF;  
  3. import org.apache.hadoop.io.Text;  
  4. public final class LowerCase extends UDF {  
  5.   public Text evaluate(final Text s) {  
  6.     if (s == null) { return null; }  
  7.     return new Text(s.toString().toLowerCase());  
  8.   } 
  9. }  
2、用eclipse下的fatjar外掛進行打包 先下載net.sf.fjep.fatjar_0.0.31.jar外掛包,cp至eclipse/plugins目錄下,重啟eclipse,右擊專案選Export,選擇用fatjar匯出(可以刪掉沒用的包,不然匯出的jar包很大) 3、將匯出的hiveudf.jar複製到hdfs上 hadoop fs -copyFromLocal hiveudf.jar hiveudf.jar 4、進入hive,新增jar, add jar hdfs://localhost:9000/user/root/hiveudf.jar 5、建立一個臨時函式 create temporary function my_lower as 'com.example.hive.udf.LowerCase'; 6、呼叫 select LowerCase(name) from teacher; 注:這種方法只能新增臨時的函式,每次重新進入hive的時候都要再執行4-6,要使得這個函式永久生效,要將其註冊到hive的函式列表 新增函式檔案$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFLowerCase.java 修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java檔案 import org.apache.hadoop.hive.ql.udf.UDFLowerCase; registerUDF(“LowerCase”, UDFLowerCase.class,false); (上面這個方法未測試成功) 為了避免每次都有add jar 可以設定hive的'輔助jar路徑'
在hive-env.sh中 export HIVE_AUX_JARS_PATH=/home/ckl/workspace/mudf/mudf_fat.jar;