要求:统计每个单词出现的次数,数据格式如下。
kk,123,weiwei,123
hlooe,hadoop,hello,ok
h,kk,123,weiwei,ok
ok,h
思路:
1.创建存放原始数据的表words和存放统计结果的表words_result。
2.为words表导入数据。
3.把words表的每行数据切割,然后进行行转列处理,是每个单词为一条记录。
4.从3的结果中选取word字段和count(word),插入words_result表中。
5.查询结果。
具体实现:
create table words
(
word string
)
row format delimited
fields terminated by ',';
create table words_result
(
word string,
total int
);
load data local inpath 'path' into table words;
from (select explode(split(words,',')) words from words1) t
insert into table words_result
select words,count(words) group by words;
查询结果展示: