10小時入門大數據
第1章 大數據概述
本章將從幾則故事說起,讓大家明白大數據是與我們的生活息息相關的,並不是遙不可及的,還會介紹大數據的特性,以及大數據對我們帶來的技術變革,大數據處理過程中涉及到的技術
1-1 導學
1-2 章節安排_
1-3 OOTB鏡像文件和虛擬機的使用
1-4 說兩則故事說起
1-5 大數據與生活息息相關
1-6 大數據基本概念
1-7 大數據帶來的挑戰
1-8 如何應對大數據帶來的挑戰
1-9 -如何學好大數據
第2章 初識Hadoop
本章節將帶領大家認識Hadoop以及Hadoop生態系統、Hadoop的發展史、Hadoop的優缺點、Hadoop的三個核心組件、Hadoop發行版的選擇以及Hadoop在企業中的案例分享,為後續深入講解Hadoop打下堅實的基礎
2-1 章節安排
2-2 Hadoop概述
2-3 2.03-Hadoop核心組件之HDFS
2-4 2.04-Hadoop核心組件之YARN
2-5 2.05-Hadoop核心組件之MapReduce
2-6 2.06-Hadoop優勢
2-7 2.07-Hadoop發展史
2-8 2.08-Hadoop生態系統
2-9 2.09-Hadoop常用發行版及選型
2-10 2.10-Hadoop應用案例
第3章 分布式文件系統HDFS
本章將從Hadoop的設計目標、架構及副本的腳本帶大家詳細剖析,快速搭建單節點偽分布式HDFS的實驗環境,並講解使用hdfs shell以及Java API的方式操作HDFS文件系統,並詳細分析HDFS文件的讀寫流程,使得大家對Hadoop分布式文件系統HDFS有深刻的認識以及使用...
3-1 -課程目錄-
3-2 -普通分布式文件系統的設計思路
3-3 HDFS概述及設計目標
3-4 HDFS架構
3-5 HDFS副本機制
3-6 HDFS副本存放策略
3-7 JDK安裝&ssh安裝&ssh免密碼登陸配置
3-8 HDFS偽分布式環境搭建
3-9 HDFS shell操作
3-10 Java操作HDFS開發環境搭建
3-11 Java API操作HDFS文件系統
3-12 HDFS寫數據流程
3-13 HDFS讀數據流程
3-14 HDFS文件系統的優缺點
第4章 分布式資源調度YARN
本章將從YARN的產生背景、YARN的架構及執行流程的角度帶大家認知Hadoop的資源調度框架YARN,快速搭建單節點偽分布式YARN的實驗環境並掌握如何提交一個官方自帶的MapReduce作業提交到YARN上運行
4-1 -課程目錄
4-2 -YARN產生背景
4-3 -YARN架構
4-4 -YARN執行流程
4-5 -YARN環境搭建
4-6 -初識提交PI的MapReduce作業到YARN上執行
第5章 分布式計算框架MapReduce
本章將從架構、優缺點、編程模型等角度帶大家認識Hadoop的分布式計算框架MapReduce,掌握MapReduce應用程序的開發,學會配置JobHistory Server
5-1 -課程目錄
5-2 -MapReduce概述
5-3 -從WordCount案例說起MapReduce編程模型
5-4 -MapReduce執行流程
5-5 -MapReduce核心概念
5-6 -MapReduce1.x架構
5-7 -MapReduce2.x架構
5-8 -Java版本wordcount功能實現
5-9 -Java版本wordcount功能重構
5-10 -Combiner應用程序開發
5-11 -Partitioner應用程序開發
5-12 JobHistory使用
第6章 Hadoop項目實戰
本章將通過對慕課網主站的訪問日誌進行分析的項目實戰,來將前面幾個章節講解的知識點串聯起來,綜合使用Hadoop的技術進行離線統計分析
6-1 -課程目錄--
6-2 用戶行為日誌概述
6-3 離線數據處理架構
6-4 項目需求
6-5 功能實現之UserAgent解析類測試
6-6 功能實現之單機本地完成需求統計
6-7 使用MapReduce完成需求統計
6-8 功能擴展思路
第7章 Hadoop分布式集群搭建
本章將帶領大家搭建一個三個節點的分布式Hadoop集群環境,讓大家對於Hadoop集群的安裝有更深入的認識,並將項目實戰案例運行在分布式集群環境中
7-1 -課程目錄
7-2 -分布式環境搭建之環境介紹
7-3 -分布式環境搭建前置配置之ssh免密碼登陸
7-4 -分布式環境搭建前置配置之JDK安裝
7-5 -分布式環境搭建集群搭建之Hadoop配置及分發
7-6 -分布式環境搭建Hadoop格式化及啟停
7-7 -分布式環境HDFS及YARN的使用
7-8 -將Hadoop項目運行在Hadoop集群之上
第8章 Hadoop集成Spring的使用
本章將帶領大家使用Java社區中最流行的Spring框架來整合Hadoop的使用
8-1 -課程目錄
8-2 -Spring Hadoop概述
8-3 -Spring Hadoop開發環境搭建及訪問HDFS文件系統
8-4 -Spring Hadoop配置文件詳解
8-5 -Spring Boot訪問HDFS文件系統
8-6 -Spring Hadoop其他
第9章 前沿技術拓展: Spark/Flink/Beam
本章將帶領大家認識當前大數據領域中非常火爆的三個框架:Spark、Flink以及Beam,並使用這三個框架完成詞頻統計分析操作,為大家以後更加深入的學習這幾個框架打下堅實的基礎
9-1 -課程目錄
9-2 -吐槽MapReduce
9-3 -Spark特點
9-4 -Spark與Hadoop深入對比
9-5 -Spark開發語言及運行模式介紹
9-6 -Scala&Maven安裝
9-7 -Spark環境搭建及wordcount案例實現
9-8 -Flink概述
9-9 -使用Flink完成wordcount統計
9-10 -Beam概述
9-11 -將WordCount的Beam程序以多種不同Runner運行
9-12 -課程目錄
第10章 Hadoop3.x新特性
本章將帶來大家學習Hadoop3.x版本的一些新特性,實時跟上Hadoop社區的發展
10-1 -課程目錄
10-2 -Hadoop3.x概述
10-3 -Hadoop3.x新特性之Common改進
10-4 -Hadoop3.x新特性之HDFS改進
10-5 -Hadoop3.x新特性之YARN改進
10-6 -Hadoop3.x新特性之MapReduce改進
10-7 -Hadoop3.x新特性之其他
下載地址:10小時入門大數據
10小時入門大數據