1. 程式人生 > >Spark算子

Spark算子

oop lan blank data lookup style lec 鍵值轉換 flat

Spark算子:RDD基本轉換操作(1)–map、flagMap、distinct

Spark算子:RDD創建操作

Spark算子:RDD基本轉換操作(2)–coalesce、repartition

Spark算子:RDD基本轉換操作(3)–randomSplit、glom

Spark算子:RDD基本轉換操作(4)–union、intersection、subtract

Spark算子:RDD基本轉換操作(5)–mapPartitions、mapPartitionsWithIndex

Spark算子:RDD基本轉換操作(6)–zip、zipPartitions

Spark算子:RDD基本轉換操作(7)–zipWithIndex、zipWithUniqueId

Spark算子:統計RDD分區中的元素及數量

Spark算子:RDD鍵值轉換操作(1)–partitionBy、mapValues、flatMapValues

Spark算子:RDD鍵值轉換操作(2)–combineByKey、foldByKey

Spark算子:RDD鍵值轉換操作(3)–groupByKey、reduceByKey、reduceByKeyLocally

Spark算子:RDD鍵值轉換操作(4)–cogroup、join

Spark算子:RDD鍵值轉換操作(5)–leftOuterJoin、rightOuterJoin、subtractByKey

Spark算子:RDD行動Action操作(1)–first、count、reduce、collect

Spark算子:RDD行動Action操作(2)–take、top、takeOrdered

Spark算子:RDD行動Action操作(3)–aggregate、fold、lookup

Spark算子:RDD行動Action操作(4)–countByKey、foreach、foreachPartition、sortBy

Spark算子:RDD行動Action操作(5)–saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

Spark算子:RDD行動Action操作(6)–saveAsHadoopFile、saveAsHadoopDataset

Spark算子:RDD行動Action操作(7)–saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

轉載:http://lxw1234.com/archives/2015/07/363.htm

Spark算子