解釋narrow transformation和wide transformation的區別
掌握map flatmap filter coalesce
列舉兩種wide transformation
列舉Spark pipeline中的4種常見action
Transformations
narrow transformation只在worker node 本地執行操作，不需要重排(shuffle），因而不需要將進行網路資料傳輸。如下面的map、faltMap、filter和coalesce。
map()
map()會將一個函式應用到RDD中的每一個element或partition，是一種one to one transformation。

def lower(line):
return line.lower()
lower_text_RDD = text_RDD.map(lower)
下圖中橘黃色代表worker node，黑色代表partition，每個partition中包含若干element。Spark 以partition為工作單位而非element，這也是Spark和MapReduce的區別之一。每個RDD都會實現compute函式以達到這個目的。compute函式會對迭代器進行復合，不需要儲存每次計算的結果。另外，每個worker node將map應用到它們收到的RDD partition上。

flatMap()
flatMap()會先執行map然後flatten（扁平化）輸出。map變換對每一條輸入進行指定的操作，然後為每一條輸入返回一個物件，flatten將所有物件合併為一個物件。
flatMap()會生成一個新的RDD，並且原RDD的RDD partition與新的RDD partition一一對應。
split_words函式以行作為輸入，element是行，單詞作為輸出，element是單詞。由於每行含有的單詞數不盡相同，右邊的黑盒有的厚有的薄。

對每個Partition執行完split_words後，獲得words的一維列表，所有單詞都只在一個列表中。
def split_words(line):
return line.split()

words_RDD = text_RDD.flatMap(split_words)
words_RDD.collect()

filter()和coalesce()
starts_with_a()是過濾器中的一種，該函式返回布林真值。如果結果為true，filter會將這個word保留。filter的結果就是過濾後的word組成的列表。
def starts_with_a(word):
return word.lower().startwith("a")
words_RDD.filter(starts_with_a).collect()

filter()過濾後生成的RDD Partition 往往長短不一，這時需要將部分partition合併以提高效能，即coalesce()。coalesce將較小partition的數量。

wide transformation 需要將shuffle資料，所以需要網路傳輸。如groupByKey()和reduceByKey()。
groupByKey()
groupByKey把element按key進行分組，如下圖，將key相同的鍵值對合並，value變為原value組成的列表。

reduceByKey()
reduceByKey() = groupByKey() + sum()，其中sum()是一種reduce。將groupByKey()結果中的列表相加就是reduceByKey()。

Actions
actions是執行流水線，將最終結果返回到Driver Program，將結果儲存到外存等一系列事件的觸發器，也是Spark pipeline的最後一步。
collect()
collect會將所有worker node上的結果收集到Driver Program上，然後會傳送到我們的python shell上。
take(n)
take(n)會將結果的前n個element拷貝出來。
reduce(func)
使用func將element聚合
saveAsTextFile(filename)
將結果以文字形式儲存到本地或HDFS
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Transformations

Actions