《UFC4》Prime Icon選手宣傳片公佈 六大傳奇迴歸八角籠 阿新 • • 發佈:2021-11-08 大資料複習知識點框架 1、大資料概述:複習習題集上的例題即可2、Hadoop:注意單機安裝和偽分散式安裝的區別,以及Hadoop中塊的概念及意義!3、HDFS:(1)名稱節點的3大資料結構(FsImage、EditLog以及放在記憶體中的元資料)的構成,以及合作關係!(2)資料存放的策略(3)資料上傳(複製)的流程(4)資料錯誤的恢復4、HBase(1)HBase資料模型、概念師徒、物理檢視以及列式儲存(2)Region定位的三層對映結構(3)Region伺服器的工作原理(4)Store的工作原理(5)HLog的工作原理5、NoSQL:複習習題課例題即可6、MapReduce:(1)注意基本關係運算(交,並,差,內外左右連線)的MapReduce中Map端、Shuffle操作以及Reduce端的設計。(2)儘量搞懂大作業3、5的MapReduce設計6、Spark(1)窄依賴、寬依賴的概念(2)stage的劃分(3)RDD的概念,對“血緣關係”以及“惰性呼叫”的理解(4)RDD的操作,以及各個操作的辨析(圖10-12)(5)RDD的容錯方式(6)徹底搞懂RDD的wordcount程式碼(10.5.2)7、Storm(1)徹底讀懂Storm的wordcount程式碼(11.4.5)(2)會畫拓撲圖(3)Storm中各個分組策略的辨析