Spark 2.0視頻|快學Spark 2.0(新特性、含真實項目、純Scala語言開發、CDH5.7)
阿新 • • 發佈:2017-10-21
spark
本課程從基礎開始,緊抓重點、言簡意賅、深入淺出的講解Spark 2.0,旨在學員能快速上手並靈活掌握。
課程以實操為主,提供完整詳細的源碼,供學員學習或應用到項目中。課程的課件也很詳細,在學員不方便看視頻的時候直接看課件並結合源碼,同樣可以達到很好的學習效果,並能大幅節省學習時間。
課程中編程語言采用當前較有前景的Scala,Hadoop采用Cloudera Hadoop的5.7.1版本,Kafka的0.10版本.
課程中對RDD操作、SQL、Streaming開發有非常深入系統的講解,且圍繞企業需求場景逐級展開和深化。
課程裏不涉及當今企業裏還比較少用的數據挖掘算法包MLlib和圖計算模塊部分。 01 Spark架構體系,應用場景
02 Spark 2.0新特性一覽
03 把Spark-examples導入到IntelliJ IDEA
04 Cloudera Manager安裝
05 CDH5.7.1 集群安裝
06 CDH5.7.1 集群安裝-續
07 Spark 2.0集群部署和測試
08 RDD詳解和創建RDD方式
09 RDD操作之Transform
10 RDD的Action操作和持久化persist()
11 Pair RDD操作
12 Pair RDD常用函數詳解
13.Join和cogroup
14 添加Hive服務及設置Mysql元數據庫
15 [項目案例]網站流量UV和PV的統計
16 [項目案例]會話二跳率的統計
17 Spark Sql基礎練習
18 SparkSesion語法練習
19 [項目案例]使用SparkSesion進行流量分析
20 [項目案例]SparkSesion操作Hive
21 Idea裏打包部署,作業結果驗證
22 Spark Cli命令spark-sql的使用
23 spark-sql支持傳參數的封裝
24 spark-sql支持傳參數的封裝-續
25 UDF開發和運用
26 Spark讀寫Json、parquet文件
27 優化篇-控制數據分區和分布
28 Spark Streaming架構和概念
29 DStream的兩種類型,API介紹
30 Kafka架構體系和概念
31 Kafka集群搭建和測試
32 Streaming讀Kafka開發WordCount案例
33 使用updateStateByKey完善案例
34 按天計算地區銷售額
35 時間窗口
36 去重類計算案例,以計算UV為例
37 [流計算項目]需求說明和架構設計
38 [流計算項目]HBase DAO類開發和測試
39 [流計算項目]Spark和Servlet代碼詳解
40 [流計算項目]Highcharts代碼詳解,項目運行
快學Spark 2.0(新特性、含真實項目、純Scala語言開發、CDH5.7)
分享網盤下載——https://pan.baidu.com/s/1c2F9zO0 密碼: pzx9
Spark進入2.0時代,引入了很多優秀特性,性能上有較大提升,API更易用。在“編程統一”方面非常驚艷,實現了離線計算和流計算API的統一,實現了Spark sql和Hive Sql操作API的統一。真正做到了“更簡單、更快速、更智能”!
課程適用於Spark零基礎或有一些基礎的初級學員,幫助學員從基礎開始快速占領技術制高點。
學習本課程不需要具備Spark 1.x的基礎,因為課程裏會覆蓋仍保留可用的Spark 1.x的內容。需要Scala基礎,課程中用Scala編程語言。
本課程從基礎開始,緊抓重點、言簡意賅、深入淺出的講解Spark 2.0,旨在學員能快速上手並靈活掌握。
課程以實操為主,提供完整詳細的源碼,供學員學習或應用到項目中。課程的課件也很詳細,在學員不方便看視頻的時候直接看課件並結合源碼,同樣可以達到很好的學習效果,並能大幅節省學習時間。
課程中編程語言采用當前較有前景的Scala,Hadoop采用Cloudera Hadoop的5.7.1版本,Kafka的0.10版本.
課程中對RDD操作、SQL、Streaming開發有非常深入系統的講解,且圍繞企業需求場景逐級展開和深化。
課程裏不涉及當今企業裏還比較少用的數據挖掘算法包MLlib和圖計算模塊部分。
目錄——
02 Spark 2.0新特性一覽
03 把Spark-examples導入到IntelliJ IDEA
04 Cloudera Manager安裝
05 CDH5.7.1 集群安裝
06 CDH5.7.1 集群安裝-續
07 Spark 2.0集群部署和測試
08 RDD詳解和創建RDD方式
09 RDD操作之Transform
10 RDD的Action操作和持久化persist()
11 Pair RDD操作
12 Pair RDD常用函數詳解
13.Join和cogroup
14 添加Hive服務及設置Mysql元數據庫
15 [項目案例]網站流量UV和PV的統計
16 [項目案例]會話二跳率的統計
17 Spark Sql基礎練習
19 [項目案例]使用SparkSesion進行流量分析
20 [項目案例]SparkSesion操作Hive
21 Idea裏打包部署,作業結果驗證
22 Spark Cli命令spark-sql的使用
23 spark-sql支持傳參數的封裝
24 spark-sql支持傳參數的封裝-續
25 UDF開發和運用
26 Spark讀寫Json、parquet文件
27 優化篇-控制數據分區和分布
28 Spark Streaming架構和概念
29 DStream的兩種類型,API介紹
30 Kafka架構體系和概念
31 Kafka集群搭建和測試
32 Streaming讀Kafka開發WordCount案例
33 使用updateStateByKey完善案例
34 按天計算地區銷售額
35 時間窗口
36 去重類計算案例,以計算UV為例
37 [流計算項目]需求說明和架構設計
38 [流計算項目]HBase DAO類開發和測試
39 [流計算項目]Spark和Servlet代碼詳解
40 [流計算項目]Highcharts代碼詳解,項目運行
Spark2全面精講
分享百度網盤地址:https://pan.baidu.com/s/1hrHL4Le 密碼: mais
Spark 2.0視頻|快學Spark 2.0(新特性、含真實項目、純Scala語言開發、CDH5.7)