大三學習規劃路線圖
路線圖介紹:
本課程對大數據生態系統進行全方位講解,有hadoop實操與底層原理應用,DFS與MapRedcue的全新解讀,內含有全網獨家發布的YARN調度框架的底層事件二次分發機制和Google源碼級IPC和RPC的通信技術原理與報文字節碼級別的協議分析,Scala語言的編程技巧與java語言的互操作性,Spark中數據處理如何彈性化、如何調優以及對Scala編程語言的典型應用。ZooKeeper作為分布式系統協同服務的原理實現與實戰應用,zkCli下同zk的交互模式以及素有瑞士***之稱的NC指令在zk中的運用,Hbase作為面向列族的數據庫實現原理以及同ZooKeeper的整合技術,Hive數據倉庫技術的使用技巧以及在傳統RDBMS的交互與過渡。Mahout以R語言在機器學習領域的重要性和編程技能,Linux下虛擬化與雲計算的技術講解及實戰應用。各種streaming數據處理以加壓縮技術的性能對比和優化,獨立搭建Hortonworks本地倉庫,並利用Ambari技術在企業大規模構造大數據規模化集群時的實戰過程,一站式安裝、配置、調優、監控、運維大數據集群的解決方案。
本路線圖針學習目標:
掌握大數據概念和核心應用場景,能夠徹底認識到大數據的重要性,以及能夠有效把握未來大數據的發展方向。能夠掌握hadoop的技術架構和底層原理,對分布式架構能夠做到更深入的認識和體會,尤其是yarn框架的底層事件分發機制、輪詢機制、多線程以及nio的組合應用。還有更重要的基於google的IPC通信技術。能夠獨立搭建hadoop集群、配置以及管理。能夠靈活應用hadoop生態系統的各種技術進行數據處理。其中對Linux的技術知識也不可小覷,能夠搭建各種倉庫本地,比如ubuntu軟件源、ambari、maven等等一系列組件,都是在企業中極其適用的技術。掌握spark和核心技術尤其是RDD的原理與使用,還有scala語言的掌握。
第一階段:Hadoop基礎環境搭建與3種模 | |
介紹 | 學員請先學習本部分基礎課程。本部分將主要講解Hadoop基礎環境搭建與3種模式配置! |
技術大點1:Hadoop第一季--基礎知識實戰視頻課程 | |
重點解析:本課準對大數據進行基礎的環境搭建,目前市場比較火的大數據,我們會從基礎搭建開始一步步教學 | |
序號 | 技術點細分 |
1 | Hadoop介紹 |
2 | Hadoop基礎課程VMware安裝 |
3 | Hadoop基礎課程Ubuntu下載與虛擬機下安裝 |
4 | Hadoop基礎課程Ubuntu常用命令 |
5 | Hadoop基礎課程Ubuntu目錄和權限 |
6 | Hadoop基礎課程Ubuntu軟件包桌面程序以及增強工具 |
7 | Hadoop基礎課程Ubuntu本地軟件源與ISO制作 |
8 | Hadoop基礎課程Ubuntu克隆與Mac生成&網絡連接方式 |
9 | Hadoop在Ubuntu下安裝JDK |
10 | Hadoop在Ubuntu下安裝Hadoop |
技術大點2:Hadoop第二季-1.配置獨立模式視頻課程 | |
重點解析:介紹hadoop獨立模式,場景使用。一步步演示怎麽配置獨立模式,並且通過案例介紹獨立模式,學完此課程學生會明白偽分布模式與獨立模式,完全模式的區別。 | |
序號 | 技術點細分 |
1 | Hadoop配置獨立模式 |
技術大點3:Hadoop第二季-2.偽分布式模式的配置視頻課程 | |
重點解析:學會如何配置偽分布模式以及使用場景,一步步演示怎麽配置偽分布模式,學完此課程學生會明白偽分布模式與獨立模式的區別 | |
序號 | 技術點細分 |
1 | Hadoop配置偽分布式模式 |
技術大點4:Hadoop第二季-3.配置完全分布式模式視頻課程 | |
重點解析:hadoop三種模式:獨立模式,偽模式,完全分布模式。目前常用配置模式,學會使用配置完全分布模式。 | |
序號 | 技術點細分 |
1 | Hadoop配置完全分布模式之修改虛擬機名稱和目錄 |
2 | Hadoop配置完全分布模式之修改登錄提示和主機名 |
3 | Hadoop配置完全分布模式之使用符號鏈接實現配置分離 |
4 | Hadoop完全分布模式之克隆客戶機與ssh遠程無密登錄 |
5 | .Hadoop配置完全分布模式之IP設置與遠程拷貝與格式化啟動 |
第二階段:win7下面配置環境以及mapred | |
介紹 | win7下面配置環境以及mapreduce架構分析與應用 |
技術大點5:Hadoop第三季-Win7下免搭建Cygwin視頻課程 | |
重點解析:在win7下面即使不安裝cygwin軟件,也能在win7下面搭建hadoop環境,中間只需要引入一個第三方增強軟件(hadoop-common.zip)即可。 | |
序號 | 技術點細分 |
1 | hadoop在Win7下免Cygwin安裝以及第三方增強軟件介入 |
2 | Win7下免Cygwin安裝續與NativeBug解決與Dexpot |
技術大點6:Hadoop第四季-架構分析實戰視頻課程 | |
重點解析:掌握架構結構,體系結構,HDFS架構分析,NN和DN原生解讀,Hadoop架構分析之啟動腳本分析一 | |
序號 | 技術點細分 |
1 | Hadoop架構分析之單節點體系 |
2 | Hadoop架構分析之集群結構分析 |
3 | Hadoop架構分析之HDFS架構分析 |
4 | Hadoop架構分析之NN和DN原生文檔解讀 |
5 | Hadoop架構分析之啟動腳本分析一 |
技術大點7:Hadoop第五季-啟動腳本分析視頻課程 | |
重點解析:讓想學習hadoop的人知道hadoop啟動原理,全方便的掌握hadoop原理。 | |
序號 | 技術點細分 |
1 | Hadoop啟動腳本分析集群id的兼容與start-allcmd講解 |
2 | Hadoop啟動腳本分析start-dfs與hadoop-config |
3 | Hadoop啟動腳本分析hadoop.cmd命令 |
4 | Hadoop啟動腳本分析數據格式化與hdfs.cmd命令 |
5 | Hadoop啟動腳本分析mared和虛擬機參數的配置 |
6 | Hadoop啟動腳本分析start-yarn命令 |
7 | Hadoop啟動腳本分析yarn.cmd與yarn-evn.cmd命令 |
8 | Hadoop架構分析之啟動腳本分析終極hdsfs部分 |
9 | Hadoop架構分析之啟動腳本分析終極yarn部分 |
技術大點8:Hadoop第六季-MapReduce代碼實現案例視頻課程 | |
重點解析:通過此章可以快速了解MapReduce,並且通過代碼實現大數據編寫 | |
序號 | 技術點細分 |
1 | Hadoop MapReduce初識 |
2 | Hadoop MapReduce編寫Mapper類 |
3 | Hadoop MapReduce編寫Reducer類 |
4 | Hadoop MapReduce編寫主函數類 |
5 | Hadoop MapReduce獨立模式運行程序 |
技術大點9:Hadoop第七季-MapReduce定制block限制+輸入切 | |
重點解析:了解學習MapReduce集群模式下一些知識 | |
序號 | 技術點細分 |
1 | Hadoop MapReduce集群模式下運行程序 |
2 | Hadoop MapReduce集群模式調整配置與shell |
3 | Hadoop MapReduce集群模式調整配置最小塊 |
4 | Hadoop MapReduce集群模式調整配置考查數據分布 |
5 | Hadoop MapReduce定制切割與副本數以及塊大小定制 |
6 | Hadoop MapReduce集群模式深入定制切割與切割法則考查 |
7 | win7下配置networks文件映射主機名和端口號利於網絡訪問 |
8 | MapReduce原理之物理導航+eclipse安裝+後臺啟動+命令化 |
9 | Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證 |
10 | Hadoop MapReduce原理之與大象裝進冰箱的相似點 |
11 | Hadoop MapReduce原理之進入流程圖 |
12 | Hadoop MapReduce原理之核心類Job和ResourceManager解讀 |
13 | Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀 |
14 | Hadoop MapReduce原理核心類Yarn與MapTask與ReduceTask |
15 | Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析 |
技術大點10:Hadoop第八季-1.MapReduce原理探查準備視頻課程 | |
重點解析:一般同學只會用而不知道原理,為了增加工作中更好的應用MapReduce,徐培成老師對MapReduce原理進行3個課程的分析。 | |
序號 | 技術點細分 |
1 | Hadoop MR win7下配置networks文件 |
2 | Hadoop MapReduce原理之物理導航等命令化操作 |
3 | Hadoop MapReduce原理之Hadoop插件安裝+配置+驗證 |
技術大點11:Hadoop第八季--2.MapReduce原理探查與大象關進冰 | |
重點解析:對hadoop中MapReduce原理探查與大象關進冰箱+流程圖 | |
序號 | 技術點細分 |
1 | Hadoop MapReduce原理之與大象裝進冰箱的相似點 |
2 | Hadoop MapReduce原理之進入流程圖 |
技術大點12:Hadoop第八季-3.MapReduce原理探查核心類整理分析 | |
重點解析:對Hadoop中MapReduce原理探查核心類整理分析 ,全面了解MapReduce | |
序號 | 技術點細分 |
1 | Hadoop MapReduce原理之核心類Job和ResourceManager解讀 |
2 | Hadoop MapReduce原理之核心類NodeManager和MRAppMaster解讀 |
3 | Hadoop MR原理之核心類Yarn與MapTask與ReduceTask解讀 |
4 | Hadoop MapReduce原理之核心類RM與NM與AM的體系結構分析 |
技術大點13:Hadoop第九季-1.MapReduce原理代碼實戰異常再現+A | |
重點解析:對hadoop中MapReduce原理通過代碼實戰講解並且通過異常再現+Ant | |
序號 | 技術點細分 |
1 | Hadoop MapReduce原理代碼實戰之錯誤信息展現於分析 |
2 | Hadoop MapReduce原理代碼實戰之Ant使用 |
技術大點14:Hadoop第九季--2.MapReduce原理代碼實戰Job提交推 | |
重點解析:MapReduce客戶端提交job的流程分析、job內部提交過程展示、job在提價後在hdfs集群上的各個文件內容與部分以及web ui的操作。 | |
序號 | 技術點細分 |
1 | Hadoop MapReduce原理代碼實戰之Job提交推演 |
技術大點15:Hadoop第九季-3.MapReduce原理探查核心類整理分析 | |
重點解析:從底層源代碼闡述MR原理技術,核心類的關系和體系結構,圖文並茂解析理論。 | |
序號 | 技術點細分 |
1 | Hadoop MapReduce原理代碼實戰之Job初始化分析 |
2 | Hadoop MapReduce原理代碼實戰之ResourceManager遠程調試 |
第三階段:YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 | |
介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
技術大點16:Hadoop第十季-YARN調度框架事件二次分發原理深度解 | |
重點解析:掌握YARN底層事件調度機制,清晰描述Application基於狀態機的變換過程和實現原理,事件流處理方式,eclipse的遠程調試。 | |
序號 | 技術點細分 |
1 | Hadoop Yarn框架底層事件分發機制概述 |
2 | Hadoop Yarn框架底層事件分發調試準備 |
3 | Hadoop Yarn框架底層事件分發調試Async分發器調試 |
4 | Hadoop Yarn底層事件分發調試RMApp事件處理調試+狀態機變換 |
5 | Hadoop Yarn框架底層事件分發調試之狀態機事件觸發原理 |
技術大點17:Hadoop第十一季-Hadoop底層IPC和RPC通信原理解析 | |
重點解析:通過對Hadoop底層通信原理的闡述以及在源代碼層面上的跟蹤,結合圖形方式描述請求發送時,消息的封裝過成,讓大家理解hadoop在底層的通信過程,最終看到Socket通信的內容。 | |
序號 | 技術點細分 |
1 | Hadoop 底層IPC和RPC通信原理解析 |
第四階段:Ambari、ZooKeeper、Hbase | |
介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
技術大點18:Ambari第一季-ambari介紹、安裝使用以及常見問題視 | |
重點解析:通過本章節介紹了解ambari的優點,工作原理,能夠熟練對ambari進行安裝配置,以及解決常見的錯誤和問題。了解HDP和HDP utils以及hortonworks項目。 | |
序號 | 技術點細分 |
1 | Ambari Hadoop集群管理軟件之介紹 |
2 | Ambari Hadoop集群管理軟件之下載安裝配置啟動登 |
3 | Ambari之疑難問題解決與Root賬戶無密登錄處理 |
技術大點19:Ambari第二季--集群管理本地軟件棧構建與使用視頻課程 | |
重點解析:掌握HDP軟件棧的執行原理,能夠數量進行HDP、Ambari等軟件的本地倉庫升級與配置。 | |
序號 | 技術點細分 |
1 | Ambari Hadoop集群管理軟件之HDP軟件棧本地倉庫搭建 |
2 | Ambari Hadoop集群管理軟件之AmbariServer通過本地倉庫安裝 |
3 | Ambari Hadoop集群管理軟件之Hadoop集群本地化安裝 |
技術大點20:ZooKeeper第一季-ZK簡介、下載與安裝視頻課程 | |
重點解析:了解ZooKeeper用途、原理,掌握ZooKeeper集群構建過程,解決在安裝期間常見的問題和錯誤。 | |
序號 | 技術點細分 |
1 | ZooKeeper簡介 |
2 | ZooKeeper下載與安裝 |
技術大點21:ZooKeeper第二季-Leader宕機演示、nc、zkCli命令使 | |
重點解析:掌握Leader的選舉過程,nc命令的使用,包括tcp網絡傳輸、文本聊天和端口掃描。zkCli命令的使用,zk的核心概念和專業術語。 | |
序號 | 技術點細分 |
1 | ZooKeeper分布式集群配制與Leader宕機測試 |
2 | ZooKeeper分布式集群配制與nc Linux命令的網絡通信利器 |
3 | ZooKeeper分布式集群配制與zk四字符客戶端指令 |
4 | ZooKeeper分布式集群配制與zkCli.sh客戶端程序使用 |
技術大點22:ZooKeeper第三季-ZK客戶端編程API使用、觀察者模式回調處理視頻課程 | |
重點解析:掌握zk核心類庫的使用和編程技巧,重點在zk觀察者中事件回調機制的使用以及one time方式的註意事項。 | |
序號 | 技術點細分 |
1 | ZooKeeper分布式集群協同之客戶端API調用 |
2 | ZooKeeper分布式集群協同之客戶端API創建和刪除path |
3 | ZooKeeper客戶端API觀察者模式與事件回調處理 |
技術大點23:HBase內功修煉實戰視頻課程 | |
重點解析:HBase直接上手實戰,深入掌握HBase。 | |
序號 | 技術點細分 |
1 | HBase介紹 |
2 | HBase安裝、體驗 |
3 | HBase完全分布式配置、啟動與shell命令查看 |
4 | HBase使用客戶端API動態創建Hbase數據表並在Hbase下導出執行 |
5 | HBase使用客戶端API完成數據庫CRUD操作 |
6 | HBase使用新型API類庫進行數據訪問操作 |
7 | HBase新API大批量插入以及hbase表結構與Hadoop文件系統 |
8 | HBase與ZooKeeper組合應用以及在shell下操縱namespace.avi |
技術大點24:Scala精通與實戰編程視頻課程 | |
重點解析:掌握Scala的編程語法,理解Scala的運行原理,熟練運用Scala進行程序開發,能夠在Java和Scala之間靈活切換和互操作。 | |
序號 | 技術點細分 |
1 | Scala介紹與安裝 |
2 | Scala基礎 |
3 | Scala操作符重載與Apply與包導入 |
4 | Scala控制結構與函數 |
5 | Scala異常處理與過程與延遲初始化 |
6 | Scala數組與多維數組 |
第五階段:征服Spark | |
介紹 | YARN調度框架事件與Hadoop底層IPC和RPC通信原理解析 |
技術大點25:征服Spark(一)入門與提高篇視頻課程 | |
重點解析:掌握Spark核心概念和技術原理掌握Spark與Hadoop的優勢對比掌握Spark的兩種安裝方式與集群的構建掌握Spark的核心概念Resilient Distributed Dataset.掌握Maven的工作原理以及本地Maven倉庫服務器的搭建與配置掌握Spark集群的部署模式以及shell的應用掌握Spark編程與運行 | |
序號 | 技術點細分 |
1 | Spark簡介 |
2 | Spark預編譯版本下載安裝與啟動 |
3 | Spark體驗shell操作與wc操作與RDD介紹 |
4 | Spark通過Maven進行源碼編譯安裝 |
5 | Spark搭建Maven本地倉庫服務器 |
6 | Spark通過本地Maven倉庫服務器進行編譯 |
7 | Spark官方doc的宏觀描述和優勢說明 |
8 | Spark獨立集群模式部署和啟動 |
9 | Spark Master和Worker的webui查看以及FIFO作業調度講解 |
10 | Spark獨立集群模式端口修改 |
技術大點26:征服Spark(二)Spark項目編譯運行篇視頻課程 | |
重點解析:了解sbt(simple build tool)掌握使用maven對Spark的項目進行編譯和運行,理解addFile的操作原理和Spark的整體概述掌握maven的pom文件的配置掌握eclipse下maven的使用與spark項目的構建以及倉庫的配置。 | |
序號 | 技術點細分 |
1 | Spark shell應用於addFile |
2 | Spark程序build的宏觀介紹 |
3 | 通過交互模式初始化Maven項目 |
4 | 通過參數指定方式直接初始化Maven項目 |
5 | 準備java源文件到自己的源碼包中 |
6 | 設置pom.xml文件依賴插件以及與自由倉庫目錄樹的對應關系 |
7 | 使用mvn package指令進行編譯並進行打包 |
8 | 使用java指令添加spark類庫運行Spark程序 |
9 | 使用maven的exec執行插件運行java程序 |
10 | 配置eclipse的maven插件使用本地maven倉庫服務器 |
11 | eclipse之下maven項目的配置編譯運行 |
12 | eclipse之Scala插件的卸載與安裝 |
13 | eclipse下構建Scala程序以及運行 |
14 | 通過Scalac命令手動編譯scala程序並執行 |
15 | 命令行下通過maven編譯運行Scala程序 |
16 | eclipse下通過maven+scala插件用Scala開發Spark應用 |
大三學習規劃路線圖