1. 程式人生 > >spark進行groupby之後值轉成list

spark進行groupby之後值轉成list

lookup val collect key park group color col clas

spark的rdd進行groupby以後有時需要對value處理

可以這樣處理:

grouped=rdd.groupBy(lambda x: x[0]).map(lambda x : (x[0], list(x[1]))) 

之後可以循環處理 grouped裏的對象,類似:

keys=grouped.keys().collect()

for key in keys:

 value=grouped.lookup(key)

spark進行groupby之後值轉成list