1. 程式人生 > >Hadoop原始碼解析與開發實戰視訊教程

Hadoop原始碼解析與開發實戰視訊教程

第一部分內容:

I. Hadoop的起源與生態系統介紹。要點:
瞭解什麼是大資料;
Google的三篇論文;
圍繞Hadoop形成的一系列的生態系統;
各個子專案簡要介紹

II. Hadoop叢集配置與搭建。要點:
Hadoop安裝與部署;
如何寫配置檔案;
執行簡單的wordcount程式;
Hadoop程式結構介紹 實戰:
Hadoop系統的安裝與部署;
編寫配置檔案;
編寫執行簡單的wordcount程式。
預期收穫:
瞭解什麼是大資料以及大資料和hadoop的關係;
瞭解hadoop本身;
學會Hadoop系統的安裝和部署;
學會配置hadoop系統;
學會編寫簡單的wordcount程式;

第二部分內容:

III. Common元件和HDFS元件原理及體系結構介紹。要點:

Hadoop IO機制;
序列化;
壓縮;
RPC;
HDFS副本機制;
HDFS讀寫機制;
塊選擇策略;
預期收穫:
掌握common元件和HDFS元件;
瞭解Hadoop的IO機制;
第三部分內容:

IV. MapReduce2.0元件原理及體系架構介紹。要點:
MapReduce工作原理;
型別與格式;
JT內部實現;
TT內部實現;
Task執行過程分析;

V. MapReduce2.0程式設計實戰。要點:
Pipes程式設計;
Streaming程式設計;
動手編寫MapReduce程式;
實戰:
MapReduce2.0程式設計(Pipes,Streaming);
編寫MapReduce程式;
預期收穫:
徹底掌握MapReduce這個關鍵模組;

第四部分內容:

VI. Hadoop叢集管理與安全機制分析。要點:
Hadoop叢集管理機制;
Hadoop現有安全機制

VII. YARN及ResourcManager元件。要點:
YARN/MRv2環境搭建與部署;
ResourceManager元件的分析與實戰;
實戰:
動手搭建YARN環境
預期收穫:
掌握Hadoop的叢集管理機制;
瞭解Hadoop現有的安全機制;
掌握YARN和ResourceManager元件。

-------------------課程目錄-------------------

  課時1 免費試聽.doc
  課時2 免費試聽二.doc
  課時3 付費學員服務指引.doc
  課時4 課前環境準備.doc
  課時5 參考資料.doc
  課時6 Hadoop開源軟體及其生態系統.avi
  課時7 HDFS叢集的安裝與部署.avi
  課時8 MapReduce叢集的安裝與部署.avi
  課時9 閱讀練習Hadoop 偽分散式叢集部署參考文件.pdf
  課時9 閱讀練習ssh實現Linux無密碼訪問.pdf
  課時10 第一週練習.doc
  課時11 Hadoop架構答疑.avi
  課時12 HDFS架構、SNN、副本放置策略.avi
  課時13 HDFS API.avi
  課時14 練習2:HDFS元件分析1.doc
  課時15 本週答疑.avi
  課時16 準備:JNI程式設計基礎.avi
  課時17 Hadoop IO.avi
  課時18 HDFS 壓縮.avi
  課時19 HDFS 完整性.avi
  課時20 HDFS 序列化.avi
  課時21 練習3 HDFS 詳細分析2.doc
  課時22 HDFS 基於檔案的資料結構.avi
  課時23 Hadoop RPC 遠端方法呼叫.avi
  課時24 練習4.doc
  課時25 MapReduce API 及工作流程(1).avi
  課時25 MapReduce API 及工作流程(2).avi
  課時26 MapReduce工作原理(2):錯誤處理、作業排程、Shuffle和Sort.avi
  課時27 MapReduce型別與格式(1).avi
  課時27 MapReduce型別與格式(2).avi
  課時28 練習5:MapReduce工作原理、流程.doc
  課時29 MapReduce重要元件_ MapReduce Combiner元件分析.avi
  課時30 MapReduce重要元件_ MapReduce Partitioner元件.avi
  課時31 MapReduce重要元件_ MapReduce Recordreader元件(2).avi
  課時32 練習6:MapReduce重要元件.doc
  課時33 MapReduce計數器.avi
  課時34 MapReduceJoin.avi
  課時35 Map端Join.avi
  課時36 MapReduce Sort.avi
  課時37 Hadoop Pipes_Streaming高階程式設計.avi
  課時38 練習7:MapReduce程式設計.doc
  課時39 Hadoop 叢集管理與安全.avi
  課時40 Hbase.avi
  課時41 練習8:HBase.doc
  課時42 Yarn基礎.avi
  課時43 spark講解.avi