hive預設函式：

+-------------------------------------------------------------------+
                                json
 +-------------------------------------------------------------------+
 {"store":
   {"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],
    "bicycle":{"price":19.95,"color":"red"}
   },
  "email":"
 
[email protected]_for_json_udf_test.net",
  "owner":"amy"
 }
 +-------------------------------------------------------------------+

1. hive> SELECT get_json_object(src_json.json, '$.owner') FROM src_json;  
2. amy  
3. hive> SELECT get_json_object(src_json.json, '$.store.fruit[0]'
   ) FROM src_json;  
4. {"weight":8,"type":"apple"}  
5. hive> SELECT get_json_object(src_json.json, '$.non_exist_key') FROM src_json;  
6. NULL

查閱hive的UDF函式指南可知，雖然udf中的get_json_object和json_tuple能對json解析，但有時候沒法實現複雜業務擴充套件，同時也沒有UDF對JSON陣列的解析，因此，很多時候需要自己實現解析JSON的UDF，寫UDF中如果使用大量開源庫（例如fastjson或gson）則會直接導致生成的jar依賴較大，並不是最理想的，本博文查閱了hive原始碼，發現hive內部用JSONObject和JSONArray解析json物件，則我們同樣可以使用這兩個物件解析即可，本文旨在提供一個可呼叫json物件和陣列的解析udf，並提供複雜json的解析，而不是替代get_json_object等內建函式。 
一、JSONObject解析JSON物件

package com.jd.bdp.util.udf;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.json.JSONException;
import org.json.JSONObject;
import org.json.JSONTokener;
/**
 * JSON物件解析UDF
 * date:2017-04-20
 */
public class GetJsonObject extends UDF {
    /**
     * 解析json並返回對應的值。例如
     add jar jar/bdp_udf_demo-1.0.0.jar;
     create temporary function getJsonObject as 'com.jd.bdp.util.udf.GetJsonObject';
     select getJsonObject(json字串,key值)
     * @param jsonStr
     * @param objName
     * @return
     */
    public String evaluate(String jsonStr,String objName) throws JSONException {
        if(StringUtils.isBlank(jsonStr)|| StringUtils.isBlank(objName)){
            return null;
        }
        JSONObject jsonObject = new JSONObject(new JSONTokener(jsonStr));
        Object objValue = jsonObject.get(objName);
        if(objValue==null){
            return null;
        }
        return objValue.toString();
    }
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32

二、JSONArray解析JSON陣列物件 
　　對json陣列字串的解析，最關鍵的是生成子json字串物件，之後往往需要配合上文中getJsonObject或get_json_object進行子json字串物件讀取資料了。下面程式碼實現瞭解析json字串陣列物件生成子json字串物件陣列。

package com.jd.bdp.util.udf;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.io.Text;
import org.json.JSONArray;
import org.json.JSONException;
import org.json.JSONTokener;
import java.util.ArrayList;
/**
 * JSON陣列物件解析UDF
 * date:2017-04-20
 */
public class GetJsonArray extends UDF {
    /**
     * 解析json並返回對應子json字串陣列,例如
     add jar jar/bdp_udf_demo-1.0.0.jar;
     create temporary function getJsonArray as 'com.jd.bdp.util.udf.GetJsonArray';
     select getJsonArray(json字串)
     * @param jsonArrayStr
     * @return
     * @throws HiveException
     */
    public ArrayList<Text> evaluate(String jsonArrayStr) throws JSONException {
        if(StringUtils.isBlank(jsonArrayStr)||StringUtils.isBlank(jsonArrayStr)){
            return null;
        }
        ArrayList<Text> textList = new ArrayList<Text>();
        if(!jsonArrayStr.trim().startsWith("[")){
            textList.add(new Text(jsonArrayStr));
        }else{
            JSONArray jsonArray = new JSONArray(new JSONTokener(jsonArrayStr));
            Text[] jsonTexts = new Text[jsonArray.length()];
            for(int i=0;i<jsonArray.length();i++){
                String json = jsonArray.getJSONObject(i).toString();
                textList.add(new Text(json));
            }
        }
        return textList;
    }
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41

三、兩個UDF的配合使用過程 
新增自定義函式

add jar jar/bdp_udf_demo-1.0.0.jar;
create temporary function getJsonObject as 'com.jd.bdp.util.udf.GetJsonObject';
create temporary function getJsonArray as 'com.jd.bdp.util.udf.GetJsonArray';

• 1
• 2
• 3

在hql中使用自定義UDF函式 
本場景是對fdm_janc2_product_1_chain表中的productioninfo中json字串陣列解析，並使用lateral view explode對生成的子json字串陣列列轉行，最後對子json字串解析讀取資料。

select 
        getJsonObject(adtable.info,'factoryAddress') factoryAddress,
        getJsonObject(adtable.info,'factoryName') factoryName,
        getJsonObject(adtable.info,'factoryQs') factoryQs,
        *
from
(
        select * from fdm.fdm_janc2_product_1_chain where dp = 'ACTIVE'
)dtl lateral view explode(getJsonArray(productioninfo)) adtable as info