京東集團-大資料培訓(Oracle(中國)講師)
一、課程目標
瞭解Hadoop的歷史及目前發展的現狀、以及Hadoop的技術特點,從而把握分散式計算框架及未來發展方向,在大資料時代能為企業的技術選型及架構設計提供決策參考。
全面掌握Hadoop的架構原理和使用場景,並通過貫穿課程的專案進行實戰鍛鍊,從而熟練使用Hadoop進行MapReduce程式開發。課程還涵蓋了整個Hadoop生態體系結構中的元件,讓學員全面瞭解並學習Hadoop的生態系統。
深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop叢集,掌握Hadoop基本運維思路和方法,對Hadoop叢集進行管理和優化。
二、適用人群
① 已經掌握Java開發語言,並想進一步學習大資料的學員。
② 大資料專案的開發工程師和運維工程師
③ 大資料分析平臺架構師
④ 大資料探勘處理演算法應用工程師
⑤ 大資料專案的規劃諮詢管理人員
⑥ 大資料專案的售前和售後技術支援服務人員
⑦ 有一定的計算機系統基礎知識(如Linux作業系統知識)
三、培訓特色和時長
定製授課+ 案例分析講解 + 實戰操作
四、授課講師
趙強老師,清華大學軟體工程專業畢業。曾就職於Oracle(中國)有限公司高階技術顧問,在Oracle公司服務已超過11年。業界知名的Oracle資料庫專家和大資料專家,精通Oracle資料庫、大資料、Weblogic中介軟體和Java技術。
五、課程大綱
一、Hadoop的起源與背景知識 (一)什麼是大資料 (二)OLTP與OLAP (三)資料倉庫 (四)Google的基本思想:(核心重點) 二、搭建實驗環境 三、Apache Hadoop的體系結構(核心重點) (一)分散式儲存:HDFS (二)YARN: 分散式計算(MapReduce) (三)HBase的體系結構 四、Hadoop 的安裝與配置 (一)Hadoop安裝部署的預備條件 (二)Hadoop的目錄結構 (三)Hadoop安裝部署的三種模式 (四)驗證Hadoop環境 (五)配置SSH免密碼登入 五、Hadoop應用案例分析 (一)網際網路應用的架構 (二)日誌分析 (三)Hadoop在淘寶的應用 六、分散式檔案系統:HDFS (一)HDFS的命令列操作 (二)HDFS的Java API (三)HDFS的Web Console (四)HDFS的回收站 (五)HDFS的快照 (六)HDFS的使用者許可權管理 (七)HDFS的配額管理 (八)HDFS的安全模式 (九)HDFS的底層原理 七、分散式計算模型:MapReduce (一)MapReduce在Yarn平臺上 執行過程 (二)第一個MapReduce程式:WordCount (三)WordCount的資料流過程 (四)使用MapReduce處理資料 (五)Shuffle的過程 (六)使用MRUnit進行單元測試過程 (七)MapReduce作業任務的管理 (八)MapReduce案例集錦 (十)搭建Hadoop的Eclipse開發環境 八、資料倉庫:Hive (一)什麼是Hive (二)Hive的體系結構 (三)Hive的管理 (四)Hive的資料型別 (五)Hive的資料模型 (六)Hive資料的匯入 (七)Hive的查詢 (八)Hive的客戶端操作:JDBC (十)Hive的自定義函式 |
九、資料分析引擎:Pig (一)什麼是Pig? (二)Pig的體系結構 (三)Pig的安裝和工作模式 (四)Pig的內建函式 (五)使用Pig Latin語句分析資料 (六)Pig的自定義函式 十、NoSQL資料庫:HBase (一)什麼是HBase? (二)HBase的體系結構 (三)HBase的表結構和資料模型 (四)HBase的安裝和部署 (五)-ROOT-和.META. (六)HBase Shell (七)HBase的Java程式設計介面 (八)HBase上的過濾器 (九)HBase上的MapReduce (十)HBase的HA 十一、資料交換引擎:Sqoop (一)什麼是Sqoop? (二)Sqoop是如何工作? (三)使用Sqoop 十二、資料採集引擎:Flume (一)什麼是Flume? (二)Flume的體系結構 (三)安裝和配置Flume (四)使用Flume採集日誌資料 十三、大資料UI系統:HUE (一)什麼是HUE? (二)HUE所需要的rpm包 (三)HUE與Hadoop整合 (四)HUE與HBase整合 (五)HUE與Hive整合 (六)HUE的文件 十四、分散式協調服務:ZooKeeper (一)什麼是ZooKeeper? (二)ZooKeeper的體系結構 (三)Zookeeper能幫我們做什麼? (四)安裝和配置Zookeeper (五)操作Zookeeper (六)ZooKeeper的分散式鎖:秒殺的實現 十五、Hadoop的叢集和HA (一)HDFS的聯盟 (二)利用ZooKeeper實現Hadoop的HA |
Copyright © 2004-2017 JD.COM 京東版權所有 Power by 企業資訊化部