第一章 初始Hadoop大資料技術

1.1 大資料技術概述

1.2 Google的”三駕馬車“

1.2.1 GFS的思想

1.2.2 MapReduce的思想

1.2.3 BigTable的思想

1.3 Hadoop概述

1.4 Hadoop生態圈

1.5 Hadoop的典型應用場景與應用架構

1.5.1 Hadoop的典型應用場景

1.5.2 Hadoop的典型應用架構

第二章 Hadoop環境設定

2.1安裝前的準備

2.2Hadoop的安裝

2.2.1 單機安裝

2.2.2 偽分散式安裝

2.2.3 完全分散式安裝

第三章 HDFS

3.1 HDFS簡介

3.2 HDFS的組成與架構

3.2.1 NameNode

3.2.2 DataNode

3.2.3 SecondaryNamenode

3.3 HDFS工作機制

3.3.1 機架感知與副本容易與儲存策略

3.3.2 檔案讀取

3.3.3 檔案寫入

3.3.4 資料容錯

3.4 HDFS操作

3.4.1 通過Web介面進行HDFS操作

3.4.2 通過HDFS shell進行操作

3.4.3 通過HDFS API進行操作

3.5 HDFS的高階功能

3.5.1 安全模式

3.5.2 回收站

3.5.3 快照

3.5.4 配額

3.5.5 高可用性

3.5.6 聯邦

第四章 YARN

4.1 YARN產生的背景

4.2 初識YARN

4.3 YARN的架構

4.3.1 YARN的架構概述

4.3.2 YARN中應用執行的機制

4.3.3 YARN中任務進度的監控

4.3.4 MapReduce I 與YARN的組成對比

4.4 YARN的排程器

4.4.1 先進先出排程器

4.4.2 容器排程器

4.4.3 公平排程器

4.4.4 三種排程器的比較

第五章 MapReduce

5.1 MapReduce概述

5.1.1 MapReduce是什麼

5.1.2 MapReduce的特點

5.1.3 MapReduce不擅長的場景

5.2 MapReduce程式設計模型

5.2.1 MapReduce程式設計模型概述

5.2.2 MapReduce程式設計例項

5.3 MapReduce程式設計進階

5.3.1 MapReduce的輸入格式

5.3.2 MapReduce的輸出格式

5.3.3 分割槽

5.3.4 合併

5.4 MapReduce的工作機制

5.4.1 MapReduce作業的執行機制

5.4.2 進度和狀態的更新

5.4.3 Shuffle

5.5 MapReduce工作案例

5.5.1 排序

5.5.2 去重

5.5.3 多表查詢

第六章 HBase、Hive、Pig

第七章 Flume

第八章 Sqoop

8.1 Sqoop背景簡介

8.2 Sqoop的基本原理

8.3 Sqoop的安裝與部屬

8.3.1 下載安裝

8.3.2 配置Sqoop

8.4 Sqoop應用

8.4.1 列出Mysql資料庫得到基本資訊

8.4.2 Mysql資料庫與HDFS資料互導

8.4.3 Mysql資料庫與Hive互導

第九章 Zookeeper

9.1 ZooKeeper簡介

9.2 ZooKeeper的安裝

9.2.1 單機模式

9.2.2 叢集模式

9.3 ZooKeeper的基本原理

9.3.1 paxos演算法

9.3.2 Zab演算法

9.3.3 ZooKeeper的架構

9.3.4 ZooKeeper的資料結構

9.4 ZooKeeper的簡單操作

9.4.1 通過ZooKeeper shell命令操作ZooKeeper

9.4.2 通過ZooKeeper工具操作ZooKeeper

9.4.3 通過JAVA API操作ZooKeeper

9.5 ZooKeeper的特性

9.5.1 會話

9.5.2 臨時節點

9.5.3 順序節點

9.5.4 事務操作

9.5.5 版本號

9.5.6 監視

9.6 ZooKeeper應用場景

9.6.1 Master選舉

9.6.2 分散式鎖

第十章 Ambari

第十一章 Mahout