1. 程式人生 > >Hive 實現WordCount

Hive 實現WordCount

準備資料

wd.txt
在這裡插入圖片描述

建立Hive表

create table ruoze_wc(
sentence string
);

載入資料到表中

load data local inpath '/home/hadoop/data/wd.txt' into table ruoze_wc;

查看錶資料

在這裡插入圖片描述

執行hive

  1. 使用 split 函式 按照逗號切分單詞
    在這裡插入圖片描述
  2. 使用explode 函式 將切分好的單詞陣列切成多行資料
    在這裡插入圖片描述
  3. 統計每個單詞 出現的次數
    在這裡插入圖片描述

完整的sql

select word, count(1) as c
from
(
select explode(split(sentence,",")) as word from ruoze_wc
) t group by word
order by c desc;