1.啟動spark中python版本的shell，進入到spark的bin目錄下——./pyspark

2.設定spark的日誌輸出等級，進入spark目錄下的conf資料夾，在log4j.properties檔案中設定log4j.rootCategory=INFO,console,其中console代表控制檯輸出。

3.關閉spark程式可以用sparkContext.stop()或者直接退出程式。

4.將外部檔案匯入為rdd。javaRDD rdd=sc.textFile("檔案地址")4.2在驅動器程式中將列表、陣列作為rdd的資料。javaRDD rdd=sc.parallelize(Array.asList("1","2"))

5.filter轉化操作，輸入一個值，經過boolean型別的表示式判斷，如果判斷符合,將根據表示式返回結果。

6.union轉化操作是將兩個rdd連線在一起，重新組成一個rdd。

7.spark有一個譜系圖記錄著每個rdd之間的依賴關係，可以用這個譜系圖來執行rdd的資料的恢復，也可以按需計算需要的rdd，因為rdd是惰性計算。到行動操作的時候才會進行正真的計算操作。

8.標準java函式介面：Function<T,R>輸入一個值，返回一個值（多用於filter和map等方法）

                                 Function2<T,T,R>輸入兩個值，返回一個值

                                 flatMapFunction<T,R>一個輸入值，多個返回值。

9.map()和filter(）轉化操作後接受一個函式，map將作用於每一個元素，並返回每一個元素，filter將每個元素用於boolean表示式，符合表示式的元素則返回，反之。

10.faltMap()用於每個元素上，一個輸入值，返回多個輸出值的迭代器，輸出rdd中的元素不是由迭代器組成的，而是由迭代器中的元素組成的，這是由於此方法執行了扁平化處理。

11.rdd的distinct()方法用於將一個rdd中的重複元素去除，只保留一份元素，因為此操作會通過網路將資料進行混洗，因此消耗巨大。

12