1、aggregate，可以用來求平均值

如下示例

rdd2 = spark.sparkContext.parallelize([1,2,3,4,5,6,7,8,9,10])

seqop = (lambda x,y: (x[0]+ y, x[1]+ 1))        #0+1 0+1 1+2 1+1 3+3 2+1
cpmop= (lambda  x,y: (x[0]+ y[0], x[1]+ y[1]))   #用於分散式計算時的聚合

res = rdd2.aggregate((0,0), seqop, cpmop)       #這樣可以求平均數
return float(res[0]) / res[1]
 

2、coalesce   聚合分割槽，glom視為可以方便看出有幾個分割槽

3、cogroup   取出一個key在自身存在，在另外一個也存在，則返回同一個key對應的所有的values，以touple的形式返回

4、collectAsMap    將元組形式的rdd返回為一個  字典形式，如果引數不是2個，這個方法則不適用，會報錯

報錯如下，需要長度為2的引數

5、combineByKey     對同一個rdd相同的key的value進行合併為一個list，並返回為一個新的RDD

理解：append針對key  因為append加入的是一個obj  相同的key只會存在一個

          extend針對value  因為相同的key的value會進行重複新增，到我們的列表裡，不會因為存在而不追加

6、countByKey     和reduceByKey的用法一樣，但是countbykey是action運算元，reducebykey是tranformation,不會立即執行，通常用reducebykey這個操作，  等價於  data.reduceByKey(_+_).collectAsMap()

7、countbyvalue       如下返回每個value在  序列中出現的次數

8、distinct    去重，這個用過sql應該就知道的

9、filter     過濾，返回表示式為true的值

10、flatMap   這個記住，這是一個1對多的運算元，rdd的一個引數進來，根據表示式，會有多個返回值，相當於展開，如下

每個引數都會有不同的返回值，可以看最後一個flatmap的形式 等價於map(lambda x: (x, x)).collect()

11、fold    如下    rdd為[1,2,3,4,5]   給定一個初始值，按照cmp方式，對元素進行摺疊，這裡為add

12、foldbykey     對相同的key的values進行相應的fold計算，   如下操作

13、foreach(f)     對rdd每個元素進行相應的函式操作

14、foreachpartition    對rdd每個分割槽的每個元素進行操作

15、fullOuterJoin        返回兩個RDD 相同的key,和對應的value組成的touple(key,(value1,value2)),沒有則返回None

16、getCheckpointFile(filepath)        得到checkpoint下來的資料，並返回rdd

17、getNumPartitions()     getStorageLevel()     得到一個rdd的分割槽，和快取的級別

18、groupby     對一個RDD的每一個value,做一個函式操作，根據對應的返回值，對其進行分組，並返回新的RDD

19、groupByKey      對touple形式的rdd按key值進行聚合  返回為（key,[value1,value2]）,然後對value的list求長度，就可以做到和wordcount一樣的效果、但是如果是做聚合操作儘量用reducebykey和aggregatebykey

mapvalues(f)      對每個touple形式的元素的value進行f(value) => (key，f(value))

20、intersection(other)       兩個rdd取交集，同樣適用於dataframe,取表中完全相同的行

21、isEmpty()    判斷RDD是否為空，常用於  第一次unionall的時候對dataframe進行判斷，選擇相應的操作

22、leftOuterJoin(other),rightOuterJoin(other),   跟fullOuterJoin一樣，這裡left以左表為驅動表沒有join上則換回none,right一樣

23、lookup(key)        根據對應的key 返回對應的value，   如下所示，如果是有序的key,找起來會更快

24、map(f)       map返回的是一對一的關係，一個元素返回f(x)     常用於轉換我們的資料格式

25、mapPartitions(f)      對每個分割槽的元素驚醒 f(values)操作      yield用法  參考http://python.jobbole.com/87613/

26、mapValues(f)      對value進行f(value) =>   (key,f(value))的形式

27、reduce(f)   對元素做相應的摺疊操作   2 for _ in range(10)   這裡就相當於取10次2

28、reduceByKey(f)         對同一個key的values   進行f(value)操作    (key,values) => (key,f(value1,value2))  => 下一次迭代

29、repartition(num)      對rdd的重新分割槽,分為num個分割槽

30、repartitionAndSortWithinPartitions(num,function)   對一個RDD進行重分割槽num 分割槽內部有排序，分割槽規則為function的返回結果為分割槽個數，如果分割槽個數大於，function的返回結果個數，則會存在空的元素  => []

31、sortedBy(index)        對RDD內部進行升序排序 ，按照我們給定的規則

32、sortByKey(ascending=True, numPartitions=None, keyfunc=<function RDD),第一個引數預設為true，num為分割槽個數，keyfunc按照對key處理後的結果進行排序，如下圖 為對key全部小寫後再進行排序

33、subtract(other, numPartitions=None)， 按照元素的全部內容進行去重，保留自身存在  other不存在的元素，同樣適用於dataframe的相關行的去重

34、subtractByKey(other, numPartitions=None)，  按照key值取反集

35、union(rdd)    只適用於同一種資料格式的rdd,不然後面的rdd轉換操作，不好進行，找不到合適的方法，對RDD進行有效的處理

36、values    返回touple的values

37、zip     拉鍊操作，  對兩個rdd進行壓縮，但是元素個數要一致，和list的壓縮一致

38、zipWithIndex     根據value => (value,index)