如何在Hive中使用Json格式資料
阿新 • • 發佈：2019-02-12
表示感謝！
總體來說，有兩大類方法：
1、將json以字串的方式整個入Hive表，然後使用LATERAL VIEW json_tuple的方法，獲取所需要的列名。
2、將json拆成各個欄位，入Hive表。這將需要使用第三方的SerDe，例如：https://code.google.com/p/hive-json-serde/
本文將主要使用第二種方法。
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
wget
https://hive-json-serde.googlecode.com/files/hive-json-serde-0.2.jar
# 新增jar包
hive>add jar/home/heyuan.lhy/develop/wanke_http_test/hive-json-serde-0.2.jar;
hive>
# 建立hive表
CREATE TABLE test_json
(
id BIGINT,
text
STRING,
)
ROW
FORMAT SERDE'org.apache.hadoop.hive.contrib.serde2.JsonSerde' |
之後，就可以使用 SELECT等語句進行操作了。
備註：這個SerDe雖然比較老，但經過測試，支援到0.12的版本無壓力。