checkpoint和持久化的區別：

1.持久化只是將資料儲存在BlockManager中，而RDD的lineage是不變的。但是checkpoint執行完後，RDD已經沒有之前所謂的依賴RDD了，而只有一個強行為其設定的checkpointRDD，RDD的lineage改變了。

2.持久化的資料丟失可能性更大，磁碟、記憶體都可能會存在資料丟失的情況。但是checkpoint的資料通常是儲存在如HDFS等容錯、高可用的檔案系統，資料丟失可能性較小。

注：預設情況下，如果某個RDD沒有持久化，但是設定了checkpoint，會存在問題，本來這個job都執行結束了，但是由於中間RDD沒有持久化，checkpoint job想要將RDD的資料寫入外部檔案系統的話，需要全部重新計算一次，再將計算出來的RDD資料checkpoint到外部檔案系統。所以，建議對checkpoint()的RDD使用persist(StorageLevel.DISK_ONLY)，該RDD計算之後，就直接持久化到磁碟上。後面進行checkpoint操作時就可以直接從磁碟上讀取RDD的資料，並checkpoint到外部檔案系統。