java大資料課程大綱(小牛學堂)
阿新 • • 發佈:2018-12-18
1第一階段—Java 核心技術 45 天
模組名 | 天數 | 知識點 | |
---|---|---|---|
JavaSE | 開發環境搭建 | 1 | 計算機基礎知識 |
Java 語言概述 | |||
JDK | |||
HelloWorld 案例 | |||
環境變數的配置 | |||
註釋 | |||
Java 基礎語法 | 1 | 關鍵字 | |
識別符號 | |||
常量、進位制和進位制轉換 | |||
變數 | |||
三大流程控制結構 | 2 | 運算子 | |
流程控制結構 | |||
跳轉控制語句 | |||
方法和陣列 | 2 | 開發工具 eclipse | |
方法 | |||
陣列 | |||
面向物件 | 4 | 面向物件思想 | |
類與物件及其使用 | |||
物件的記憶體圖和變數分類以及形參 | |||
匿名物件 | |||
封裝(private) | |||
this 關鍵字 | |||
構造方法 | |||
static 關鍵字 | |||
程式碼塊 | |||
單例設計模式 | |||
繼承 | |||
final 關鍵字 | |||
多型 | |||
抽象類 | |||
介面 | |||
包和導包 | |||
常用類和排序 | 2 | API 概述 | |
Object 類 | |||
Scanner 類 | |||
String 類 | |||
StringBuffer 類/StringBuilder 類 | |||
陣列高階 | |||
Arrays 類 | |||
基本型別包裝類 | |||
Math 類 | |||
Random 類 | |||
System 類 | |||
Date 類 | |||
DateFormat 類 | |||
正則表示式 | |||
集合 | 2 | 集合類概述 | |
Collection 介面 | |||
Iterator 介面 | |||
List 和 ListIterator 介面 | |||
ArrayList 和 LinkedList 類 | |||
泛型 | |||
增強 for 迴圈和可變引數 | |||
Set 介面 | |||
HashSet 類 | |||
Map 介面 | |||
HashMap 和 LinkedHashMap 類 | |||
Collections 類常用方法和排序介面 | |||
異常和 IO 流 | 3 | 異常的處理和自定義 | |
File 類的使用 | |||
遞迴 | |||
位元組流 | |||
轉換流 | |||
字元流 | |||
其他流 | |||
多執行緒 | 1 | 多執行緒概述 | |
開啟執行緒兩種方式 | |||
執行緒同步問題 | |||
生產者和消費者 | |||
執行緒池 | |||
定時器 | |||
網路程式設計 Socket | 1 | 網路程式設計概述 | |
網路程式設計三要素 | |||
UDP 程式設計 | |||
TCP 程式設計 | |||
反射和動態代理 | 1 | 類的載入介紹 | |
類載入器的介紹和獲取 | |||
反射 | |||
動態代理 | |||
手動編寫一個 Tomcat | |||
Mysql 資料庫+Jdbc | 2 | 資料庫整體介紹 | |
資料庫的下載、安裝、解除安裝、啟動 | |||
使用 SQL 語句對資料庫進行 CRUD 操作 | |||
使用 SQL 語句對資料庫中表進行 CRUD 操作 | |||
使用 SQL 語句對錶中的記錄進行 CRUD 操作 | |||
SQL 建立多表及多表的關係 | |||
表關係完成多表的查詢 | |||
使用 JDBC 完成對於分類表的 CRUD 的操作 | |||
使用連線池改造 JDBC 的程式 | |||
使用元資料優化 CRUD 的操作 | |||
DBUtils 工具類的使用 | |||
Html+JavaScript+jQuery | 2 | HTML 概述 | |
網站資訊頁面顯示 | |||
網站的圖片頁面顯示 | |||
網站的列表顯示頁面 | |||
網站的註冊頁面 | |||
DIV+CSS 的使用和引入方式以及選擇器的使用 | |||
JavaScript 語言介紹 | |||
JavaScript 的組成部分 | |||
使用 JS 完成表單的校驗 | |||
使用 JS 完成京東首頁的輪播圖片效果 | |||
使用 JS 控制表格的隔行換色和全選以及不全選的效果 | |||
JS 控制省市二級聯動 | |||
實現下拉列表左右選擇 | |||
jQuery 快速入門 | |||
使用 jQuery 完成頁面的彈出廣告的效果 | |||
使用 jQuery 完成表格的隔行換色和全選以及全不選 | |||
使用 jQuery 完成省市聯動 | |||
使用 jQuery 完成下拉列表的左右選擇 | |||
Servlet | 2 | 安裝 Tomcat 伺服器釋出一個 Web 專案 | |
HTTP 協議 | |||
Servlet 概述 | |||
Servlet 的生命週期 | |||
Servlet 的 web.xml 配置 | |||
HttpServletResponse 和 HttpServletRequest 的常用方法 | |||
處理 Request 和 Response 亂碼 | |||
使用轉發和重定向對登入進行優化登入案例 | |||
記錄系統的登入次數案例 | |||
ServletContext 全域性域物件 | |||
ServletContext 的常用方法 | |||
配置 Servlet 的啟動時載入 | |||
使用過濾器過濾登入狀態 | |||
Cookie 的常見用法 | |||
檔案的上傳和下載 | |||
Jsp | 2 | JSP 的概述 | |
JSP 的指令碼 | |||
JSP 的執行原理 | |||
JSP 的註釋 | |||
JSP 的三大指令 | |||
JSP 的 9 大內建物件 | |||
JSP 的四個域物件 | |||
JSP 的動作標籤 | |||
EL 表示式 | |||
JSTL 標籤庫 | |||
商品資訊列表展示案例 | |||
AJAX+JSON | 1 | JSON 格式資料介紹 | |
使用 JavaScript 處理 JSON 格式資料 | |||
FastJson 的使用 | |||
Gson 的使用 | |||
使用 AJAX 完成 GET 和 POST 請求 | |||
使用 jQuery AJAX 完成 GET 和 POST 請求 | |||
使用 JQuery AJAX 完成搜尋資訊匹配 | |||
使用 JQuery AJAX完成使用者名稱非同步校驗 | |||
Maven | 1 | 什麼是 maven | |
Maven 好處 | |||
依賴管理介紹 | |||
專案一鍵構建介紹 | |||
Maven 的安裝配置 | |||
Maven 的目錄結構 | |||
Maven 的常用命令 | |||
Maven 的生命週期 | |||
命令和生命週期的階段的關係 | |||
專案構建實際 | |||
依賴管理實踐 | |||
依賴範圍介紹 | |||
Maven 私服搭建 | |||
Redis | 1 | nosql 的簡介 | |
redis 的簡介 | |||
redis 的安裝與啟動 | |||
jedis 的簡單使用 | |||
jedis 的連線池使用 | |||
redis 資料型別和常見命令 | |||
redis 的移庫操作 | |||
redis 的訂閱和事務以及持久化 | |||
JavaEE | MyBatis | 2 | Mybatis 的介紹 |
Mybatis 的入門 | |||
使用 jdbc 操作資料庫存在的問題 | |||
Mybatis 的架構 | |||
Mybatis 的入門程式 | |||
Dao 的開發方法 | |||
原始 dao 的開發方法 | |||
介面的動態代理方式 | |||
SqlMapConfig.xml 檔案說明 | |||
輸入對映和輸出對映 | |||
輸入引數對映 | |||
返回值對映 | |||
動態 sql | |||
關聯查詢 | |||
一對一關聯 | |||
一對多關聯 | |||
Mybatis 逆向工程 | |||
Spring | 3 | Spring 概述 | |
Spring IOC 容器概念介紹 | |||
Spring 入門案例 | |||
Spring 相關配置、屬性注入方式 | |||
Spring 整合到 Web 環境下 | |||
Spring 註解的使用 | |||
Spring 整合 Junit | |||
Spring 的 AOP 使用 | |||
Spring 整合 JDBC | |||
Spring 整合事物 | |||
Spring 整合 MyBatis | |||
SpringMVC | 2 | SpringMVC 介紹 | |
入門程式 | |||
SpringMVC 架構講解 | |||
框架結構 | |||
元件說明 | |||
SpringMVC 整合 MyBatis | |||
引數繫結 | |||
SpringMVC 預設支援的型別 | |||
簡單資料型別 | |||
Pojo 型別 | |||
Pojo 包裝型別 | |||
自定義引數繫結 | |||
SpringMVC 和 Struts2 的區別 | |||
高階引數繫結 | |||
陣列型別的引數繫結 | |||
List 型別的繫結 | |||
RequestMapping 註解的使用 | |||
Controller 方法返回值 | |||
SpringMVC 中異常處理 | |||
圖片上傳處理 | |||
Json 資料互動 | |||
SpringMVC 實現 RESTful | |||
攔截器 | |||
三大框架整合 | |||
SpringBoot | 1 | SpringBoot 介紹 | |
SpringBoot 環境準備 | |||
SpringBoot 一鍵式構建專案 | |||
SpringBoot 的常用註解 | |||
SpringBoot 的專案打包和執行模式 | |||
JavaEE 專案 | 微信點餐買家端和賣家端系統 | 6 | reids 的快取和分散式鎖使用 |
SSM 框架的整合開發 | |||
spring boot 框架的應用 | |||
SpringBoot+JPA 的使用 | |||
SpringBoot+MyBatis 的使用 | |||
SpringBoot+Redis 的使用 | |||
SpringBoot+WebSocket 的使用 | |||
訂單取消,支付,過期的實現 | |||
掌握 RESTful 風格開發 | |||
掌握應用部署上線 |
2第二階段:大資料核心技術(47天)
模組名 | 天數 | 知識點 | |
---|---|---|---|
資料分析案例 | 電影評分統計分析 | 6 | JSON 資料解析,掌握分組統計思想 |
歸屬地查詢統計 | 關聯資料分析 | ||
單車定位 | GEOHASH 演算法 | ||
Httpclient 請求網路介面獲取資料 | |||
爬蟲 | 網站資料的獲取,DOM 解析 | ||
RPC 案例 | 技術分層,RPC 遠端過程呼叫 | ||
分散式案例 | 分散式的詞頻統計,非同步執行緒得到返回結果 | ||
Linux | Linux 的介紹和安裝 | 1 | inux 系統簡介與安裝 |
vmware 虛擬機器網路配置 | |||
Linux 常用命令 | linux 常用命令--檔案操作 | ||
linux 常用命令--使用者管理與許可權 | |||
linux 常用命令--系統管理 | |||
linux 常用命令--免密登陸配置與網路管理 | |||
linux 環境基本配置 | 1 | 主機名的修改 | |
IP 地址的修改 | |||
host 檔案配置 | |||
linux 防火牆配置 | |||
linux 上常用軟體安裝 | JDK 的安裝 | ||
tomcat 的安裝 | |||
linux 本地 yum 源配置及 yum 軟體安裝 | |||
Linux 高階命令 | 1 | linux 高階文字處理命令 cut、sed、awk | |
linux 定時任務 crontab | |||
shell 程式設計 | shell 程式設計--基本語法 | ||
shell 程式設計--流程控制 | |||
shell 程式設計--函式 | |||
shell 程式設計--綜合案例--自動化部署指令碼 | |||
Hadoop | Hadoop 概述 | 1 | Hadoop 背景介紹 |
分散式系統概述 | |||
Hadoop 生態系統介紹 | |||
Hadoop 叢集搭建 | 伺服器和環境準備 | ||
Linux 系統配置 | |||
Hadoop 單機模式和偽分佈模式環境部署 | |||
Hadoop 叢集環境部署 | |||
配置環境變數 | |||
叢集啟動停止 | |||
叢集狀態檢視 | |||
執行一個 MR 示例 | |||
Hadoop 程序詳解 | |||
HDFS 基礎 | 1 | HDFS 概念 | |
HDFS 優缺點 | |||
HDFS 設計目標 | |||
HDFS 核心設計 | |||
HDFS 架構 | |||
HDFS Shell 操作 | |||
工作機制 | NameNode 工作機制 | ||
DataNode 工作機制 | |||
SecondaryNamenode 工作機制 | |||
HDFS 寫流程 | |||
HDFS 讀流程 | |||
HDFS 程式設計 | 1 | HDFS Java API 讀資料 | |
HDFS Java API 寫資料 | |||
HDFS Java API 上傳檔案 | |||
HDFS Java API 下載檔案 | |||
HDFS Java API 建立目錄 | |||
HDFS Java API 刪除目錄 | |||
HDFS 叢集故障恢復 | 元資料的管理 | ||
元資料損壞恢復 | |||
安全模式的處理 | |||
YARN 資源排程框架概述 | HDFS HA 機制 | ||
YARN 產生背景 | |||
YARN 架構與原理 | |||
YARN 提交作業的執行流程 | |||
MapReduce 程式設計模型 | 4 | Mapper 類解析 | |
Reducer 類解析 | |||
Job 類解析 | |||
MapReduce 程式設計規範及示例編寫 | |||
MapReduce 的執行模式 | |||
MapReduce 程式設計實戰 | MapReduce 架構 | ||
DistributeCache 應用:Map Join、Reduce Join | |||
序列化應用 | |||
自定義排序 | |||
自定義分割槽 | |||
自定義 Groupingcomparator Combiner 應用 | |||
自定義 Inputformat | |||
自定義 Outputformat | |||
MapReduce 高階特性應用 | shuffle 機制 | ||
MapReduce 的並行度 | |||
MapReduce 的調優解析 | |||
MapReduce 資料傾斜 | |||
maptask/reduceTask/Container 運算調優 | |||
Zookeeper | Zookeeper 概述 | 1 | Zookeeper 介紹 |
Zookeeper 下載與安裝 | |||
Zookeeper 配置 | |||
Zookeeper 叢集環境部署 | |||
選舉機制介紹 | |||
HDFS HA | HDFS HA 的環境部署 | ||
Hive | Hive 安裝部署 | 2 | Hive 簡介 |
Hive 安裝部署模式(內嵌、本地、遠端) | |||
Hive 常用內部命令使用 | |||
Hive 工作機制 | Hive 元資料庫概念 | ||
Hive 資料儲存 | |||
Hive 基本語法 | DDL 操作:建立表 | ||
DDL 操作:刪除表 | |||
DDL 操作:修改表 | |||
DDL 操作:增加分割槽和刪除分割槽 | |||
DML 操作: Load 裝載資料 | |||
DML 操作:Insert 插入資料 | |||
DML 操作:Insert 匯出資料 | |||
Hive 資料簡單查詢(where、group by、order by 、sort by、distribute by、cluster by) | |||
Hive 資料複雜查詢_Join 操作 | |||
HQL 高階應用 | JDBC 連線 Hive | ||
Hive 的分割槽、分桶、檢視、索引 | |||
Hive 資料型別 | 基本資料型別 | ||
複合資料型別 | |||
Hive 函式 | 1 | 內建函式 | |
自定義函式(UDF/UDAF) | |||
Hive 解決特殊格式資料 | 自定義 Inputformat | ||
自定義 SerDe(ORC、Parquet) | |||
Hive 調優 | FetchTack 引數調優 | ||
HQL 調優 | |||
資料傾斜調優 | |||
結合 MapReduce 調優 | |||
Flume | Flume 安裝部署 | 1 | Flume 介紹 |
Flume 安裝 | |||
Flume 架構及內部原理 | Source 元件詳解 | ||
Channel 元件詳解 | |||
Sink 元件詳解 | |||
Flume 使用 | 配置檔案的編寫 | ||
引數的配置 | |||
Flume 的扇入和扇出 | |||
FLUME 自定義攔截器案例:資料過濾與脫敏 | |||
Sqoop | Sqoop 安裝部署 | 1 | Sqoop 介紹 |
Sqoop 安裝部署 | |||
Sqoop 架構 | |||
Sqoop 使用 | Sqoop 匯入資料 | ||
Sqoop 匯出資料 | |||
HBase | HBaseHBase 概述 | 1 | HBase 介紹 |
HBase 體系結構 | |||
HBase 使用場景介紹及特點 | |||
HBase 中元件角色介紹: Hmaster、Hregion、Hlog、StoreFile(Hfile)、memstore、Blockstore、WAL。 | |||
Hlog 生命週期 | |||
Hbase 讀、寫原理 | |||
HBase 依賴元件:zookeeper 、Hadoop(hdfs) | |||
HBase 儲存表結構 :namespace,table,rowkey,column family,qualifier,timestamp,region | |||
HBase 的容錯機制 | |||
HBase 的安裝 | Hbase 偽分散式安裝介紹 | ||
Hbase 分散式安裝(自帶 zookeeper和外部 zookeeper) | |||
安裝常見問題 | |||
HBase 的基本操作 | 2 | 初識 HBase Shell | |
HBase Shell 常用基本命令 | |||
HBase Shell 常用表管理命令 | |||
HBase Shell 常用表操作命令 | |||
HBase 的 API 操作 | HBase API 常規操作:put、delete、get、Result 類、get 列表(ListCell、RawCell)等 | ||
HBase API 高階操作:指定行、ResultScanner 類、按 RowKey 範圍檢索等 | |||
HBase fiter 的使用 | |||
HBase 的優化 | 1 | phoenix 使用 | |
表設計 | |||
RowKey 設計 | |||
程式碼調優 | |||
批量讀寫 | |||
引數調優 | |||
Scala | Scala 快速入門 | 2 | scala 程式設計介紹 |
scala 與其他語言的對比和優勢 | |||
scala 相關軟體安裝 | |||
scala 基礎語法 | |||
scala 程式設計介紹 | |||
scala 相關軟體安裝 | |||
scala 入門案例 | |||
函數語言程式設計 | scala 方法和函式 | ||
scala 的函式和 Python 的 Lambda 對比 | |||
scala 的函式和 Java8 的 Lambda 對比 | |||
用 Java自己實現一個類似函數語言程式設計的功能 | |||
scala 函數語言程式設計特點 | |||
scala 陣列和集合 | |||
map、flatMap 方法的講解和案例 | |||
reduce 方法的講解和案例 | |||
filter、filterNot 方法方法的講解和案例 | |||
fold、foldLeft、foldRight 方法方法的講解和案例 | |||
sortBy、sortWith、sorted 方法方法的講解和案例 | |||
aggregate 方法的講解和案例 | |||
其他常用的方法 | |||
scala 程式設計練習(單機版 WordCount) | |||
面向物件 | 1 | 類的定義 | |
構造器與輔助構造器 | |||
繼承 | |||
單例物件 | |||
包訪問許可權 | |||
實現特質 | |||
方法的重寫和過載 | |||
實現多型 | |||
面向物件綜合案例 | |||
模式匹配 | Scala 模式匹配的特點 | ||
按內容匹配 | |||
按型別匹配 | |||
case class | |||
case object | |||
自定義 case class 和 case oject 案例 | |||
Option/Some/None | |||
偏函式 | |||
Actor 併發程式設計 | 1 | Actor 程式設計模型簡介 | |
Actor 程式設計模型簡介與 Java 傳統多執行緒的區別 | |||
建立 Actor 的方式 | |||
傳送同步訊息和非同步訊息 | |||
Scala 的 Future 功能 | |||
Actor 程式設計實戰 | |||
高階函式 | 1 | 高階函式介紹 | |
高階函式的種類 | |||
柯里化 | |||
call by name 和 call by value | |||
Scala 的閉包 | |||
高階函式綜合案例 | |||
隱式轉換 | 隱式轉換的概念和作用 | ||
隱式轉換與裝飾模式、代理模式的對比 | |||
隱式轉換的優點 | |||
上下文繫結 | |||
檢視繫結 | |||
逆變和協變 | |||
隱式轉換原理剖析 | |||
隱式轉換案例 | |||
分散式 RPC 程式設計案例(Akka 和 Netty) | 1 | RPC 程式設計實現原理介紹 | |
Akka 框架介紹 | |||
Akka 入門案例 | |||
Akka 原理剖析 | |||
Akka 的容錯功能 | |||
Akka 整合 zookeeper 實現高可用 | |||
實戰:RPC 程式設計實戰一 (實現 RPC 通訊功能) |
|||
實戰:RPC 程式設計實戰二 (實現 Spark 底層通訊的功能) |
|||
Netty 的介紹和特點 | |||
Netty 的基本使用 | |||
案例:實現 Netty 的 Server 端的實現 | |||
案例:實現 Netty 的 Client 端的實現 | |||
Netty 整合其他序列框架 | |||
案例:利用 Netty 實現 RPC 通訊 | |||
Spark | Spark 簡介和環境搭建 | 1 | Spark 簡介 |
Spark 和 Hadoop、Storm 的對比 | |||
Spark Standalone 環境搭建 | |||
Spark 叢集環境架構 | |||
Spark 叢集搭建 | |||
Spark 高可用叢集搭建 | |||
Spark-Shell 的使用 | |||
Spark 整合 HDFS | |||
RDD 的 Transformation 和 Action 的使用 | 2 | 用 Scala 語言編寫 Spark 應用程式 WordCount | |
用 Java 語言編寫 Spark 應用程式 WordCount | |||
RDD 簡介 | |||
RDD 的特點說明 | |||
Spark 常用運算元介紹 | |||
Spark 的 Transformation 運算元 | |||
map、flatMap、mapPartitions 的使用 | |||
filter 的使用 | |||
reduceByKey、groupByKey、aggregateByKey 的使用 | |||
sortByKey、sortBy 的使用 | |||
join、unit、intersection、cogroup 的使用 | |||
coalesce、repartition、repartitionAndSortWithinPartitions 的使用 | |||
其他複雜的 Transformation 運算元 | |||
Spark 的 Action 運算元 | |||
reduce 的使用 | |||
count、countByKey 的使用 | |||
collect、firsttake、takeOrdere 的使用 | |||
saveAsTextFile、saveAsSequenceFile、saveAsObjectFile 的使用 | |||
foreach、foreachPartition 運算元 | |||
其他複雜的 Action 運算元 | |||
Spark Core 的高階功能 | 2 | 案例:使用者最常出現的位置 | |
Spark 的 WordCount 執行相信流程解析 | |||
RDD 的快取機制 | |||
案例:URL 求 TopN | |||
自定義分割槽 | |||
二次排序 | |||
自定義排序 | |||
RDD 的 checkpoint 機制 | |||
廣播變數 | |||
案例:根據 IP 求歸屬地 | |||
Spark 遠端除錯 | |||
Maven 編譯 Spark 原始碼 | |||
寬依賴和窄依賴 | |||
RDD 的血統關係 | |||
DAG 切分過程 | |||
案例:利用 JdbcRDD 匯入資料 | |||
Spark SQL | 2 | Spark-SQL 介紹 | |
Spark-SQL 的使用新特性 | |||
SparkSession 的使用 | |||
DataFrame 和 DataSet 的使用 | |||
DataFrame 的常用方法 | |||
通過 Case Class 和 Schema 建立 DataSet | |||
DataSet 的常用方法 | |||
Parquet 檔案的使用 | |||
SparkSQL 的 TemporaryView | |||
Spark-SQL 載入並處理 MySQL 中的資料 | |||
利用 Spark-SQL 講資料寫入到 MySQL 中 | |||
Spark-SQL 整合 Hive | |||
Spark-SQL 綜合案例 1 | |||
Spark-SQL 綜合案例 2 | |||
SparkStreaming | 2 | Spark-Streaming 簡介 | |
編寫 Spark-Streaming 的 WordCount 程式 | |||
可更新狀態的 WordCount 程式 | |||
Spark-Streaming 整合 Flume | |||
Kafka 的介紹 | |||
Kafka 叢集的安裝 | |||
Kafka 相關概念介紹 | |||
Kafka 生產者和消費者程式編寫 | |||
Kafka 的 Topic 的相關操作 | |||
Kafka 原理深入 | |||
Spark-Streaming 整合 Kafka | |||
案例:Spark-Streaming 實時統計小區流量 | |||
Spark-Streaming 視窗函式 | |||
Spark-Streaming 直連方式整合 Kafka | |||
直連方式原理分析 | |||
Spark On Yarn | 1 | Hadoop 的 YARN 知識點回顧 | |
Spark On YARN 兩種方式 Cluster 和 Client | |||
兩種方式過程分析 | |||
Spark On YARN 日誌檢視 | |||
Spark On YARN 常見問題分析 | |||
Spark On YARN 的的任務排程 | |||
Spark On YARN 的常用配置引數 | |||
YARN 的監控頁面引數講解 | |||
Spark MLlib | 1 | Spark MLlib 介紹 | |
MLlib 和 Mahout 的對比和優勢 | |||
breeze 向量和矩陣計算 | |||
MLlib 常用演算法 | |||
案例:智慧推薦案例 | |||
案例:分析電商銷售商品分類 | |||
Spark GraphX | 1 | GraphX 介紹 | |
圖相關概念的介紹 | |||
GraphX 基本使用 | |||
案例:社交使用者人脈分析 | |||
案例:手機使用者常出沒的商圈分析 | |||
Spark 原始碼分析 | 1 | Master 啟動流程原始碼分析 | |
Worker 啟動流程原始碼分析 | |||
Spark 應用程式提交構成原始碼分析 | |||
SparkContext 建立過程原始碼分析 | |||
ClientActor 提交任務給 Master 過程原始碼分析 | |||
Master 資源排程原始碼分析 | |||
Master 通知 Worker 啟動 Executor 過程原始碼分析 | |||
Executor 跟 DriverActor 通訊過程原始碼分析 | |||
任務提交整理流程原始碼分析 | |||
DAGSchedule 執行過程分析 | |||
DAG 切分 Stage 過程原始碼分析 | |||
TaskScheduler 提交 Task 過程原始碼分析 | |||
Executor 上執行 Task 過程原始碼分析 | |||
Spark 叢集和任務效能優化 | 1 | Spark Standalone 模式優化引數 | |
任務提交資源分配和優化引數 | |||
資料傾斜原因及優化方案 | |||
Driver 端引數配置和優化 | |||
Worker 端引數配置和優化 | |||
RDD 的 cache、checkpoint 等相關優化 | |||
Shuffle 過程優化及引數配置 | |||
SparkSQL 的任務優化 | |||
SparkStreaming 的任務優化 | |||
Spark On YARN 端引數配置和優化 | |||
Spark 叢集監控和引數調優 | |||
Spark 叢集記憶體監控和 JVM GC 調優 | |||
就業指導 | 簡歷指導 | 1 | 簡歷模板 |
面試常見技術問題 |
3第三階段:專案實戰階段(30天)
模組名 | 天數 | 知識點 | |
---|---|---|---|
黑卡檢索判定 | 12 | 黑卡的背景 | |
黑鏈和對企業的影響 | |||
資料的採集方式和規範處理 | |||
應業務需要對黑卡 | |||
使用黑卡使用者的檢索 | |||
對檢索結果的儲存處理 | |||
總結整個黑卡的思考過程和業務思考 | |||
高鐵電務段大資料平臺 | 12 | 業務背景瞭解 | |
資料接入 | |||
資料清洗 | |||
離線報表統計 | |||
實時報表統計 | |||
使用者畫像 | |||
裝置維修預測 | |||
專案總結 | |||
精準廣告智慧競價 DMP 平臺 | 6 | 廣告行業現狀 | |
專案背景 | |||
Flume 資料採集 | |||
資料儲存技術選型 | |||
離線業務 | |||
實時業務 | |||
使用者畫像 | |||
資料視覺化 | |||
專案總結 |
4第四階段-面試技術增強(9天)
模組名 | 天數 | 知識點 | |
---|---|---|---|
JVM | 4 | JVM 介紹 | |
JVM 的對記憶體的細化 | |||
GC 的常用演算法 | |||
GC 的工作機制 | |||
JVM 的監控工具 | |||
JVM 的綜合調優 | |||
資料結構 | 陣列 | ||
棧和佇列連結串列和遞迴 | |||
堆和優先數列 | |||
紅黑樹 | |||
雜湊表 | |||
快速排序 | |||
有窮自動機 | |||
Cdh | 1 | Cdh 的介紹和安裝方法 | |
Flink | 2 | flink 架構 | |
flink 原理 | |||
flink 程式設計開發 | |||
ElasticSearch | ElasticSearch 的介紹和安裝 | 2 | ElasticSearch 的介紹 |
ElasticSearch 的基本概念 | |||
ElasticSearch 的下載與分散式叢集搭建 | |||
ElasticSearch 的使用 | ElasticSearch 入門操作 | ||
ElasticSearch使用 Java操作 | |||
CURl 命令介紹 | |||
ElasticSearchCRUD 操作 | |||
ElasticSearch 查詢文件操作 |