1. 程式人生 > >spark 中如何查看單個RDD分區的內容(創建分區,查看分區數)

spark 中如何查看單個RDD分區的內容(創建分區,查看分區數)

ons red code put NPU 如何 art scores 內容

spark 創建分區

val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98))

val input = sc.parallelize(scores,3) #這裏創建了3個分區

查看分區數:

input.partitions.size

查看分區的內容和情況

input.glom().collect()

spark 中如何查看單個RDD分區的內容(創建分區,查看分區數)