大資料分析挖掘培訓課程要點-基於Hadoop/Mahout/Mllib的大資料探勘
目前對大資料的分析工具，首選的是Hadoop/Yarn平臺。Hadoop/Yarn在可伸縮性、健壯性、計算效能和成本上具有無可替代的優勢，事實上已成為當前網際網路企業主流的大資料分析平臺。
一、培訓物件
1，系統架構師、系統分析師、高階程式設計師、資深開發人員。
2，牽涉到大資料處理的資料中心執行、規劃、設計負責人。
3，政府機關，金融保險、移動和網際網路等大資料來源單位的負責人。
4，高校、科研院所牽涉到大資料與分散式資料處理的專案負責人。


二、學員基礎
1，對IT系統設計有一定的理論與實踐經驗。
2，資料倉庫與資料探勘處理有一定的基礎知識。
3，對Hadoop/Yarn/Spark大資料技術有一定的瞭解。


三、培訓要點


本課程從大資料探勘分析技術實戰的角度，結合理論和實踐，全方位地介紹Mahout和 MLlib等大資料探勘工具的開發技巧。本課程涉及的主題包括：大資料探勘及其背景，Mahout和 MLlib大資料探勘工具，推薦系統及電影推薦案例，分類技術及聚類分析，以及與流挖掘和Docker技術的結合，分析了大資料探勘前景分析。
本課程教學過程中還提供了案例分析來幫助學員瞭解如何用Mahout和 MLlib挖掘工具來解決具體的問題，並介紹了從大資料中挖掘出有價值的資訊的關鍵。
本課程不是一個泛泛的理論性、概念性的介紹課程，而是針對問題討論Mahout和 MLlib解決方案的深入課程。教師對於上述領域有深入的理論研究與實踐經驗，在課程中將會針對這些問題與學員一起進行研究，在關鍵點上還會搭建實驗環境進行實踐研究，以加深對於這些解決方案的理解。通過本課程學習，希望推動大資料分析挖掘專案開發上升到一個新水平。


四、培訓內容
第一講大資料探勘及其背景
  1)資料探勘定義 
  2)Hadoop相關技術
  3)大資料探勘知識點
第二講 MapReduce/DAG計算模式
  1）分散式檔案系統DFS
  2）MapReduce計算模型介紹
  3）使用MR進行演算法設計
  4）DAG及其演算法設計
第三講 雲挖掘工具Mahout/MLib 
   1）Hadoop中的Mahoutb介紹
   2）Spark中的Mahout/MLib介紹
   3）推薦系統及其Mahout實現方法
   4）資訊聚類及其MLlib實現方法
   5）分類技術在Mahout/MLib中的實現方法  
第四講 推薦系統及其應用開發
   1）一個推薦系統的模型
   2）基於內容的推薦
   3）協同過濾
   4）基於Mahout的電影推薦案例
第五講 分類技術及其應用
  1）分類的定義
  2）分類主要演算法
  3）Mahout分類過程
  4）評估指標以及評測
  5）貝葉斯演算法新聞分類例項
第六講 聚類技術及其應用
   1）聚類的定義
   2）聚類的主要演算法
   3）K-Means、Canopy及其應用示例
   4）Fuzzy K-Means、Dirichlet及其應用示例
   5）基於MLlib的新聞聚類例項
第七講 關聯規則和相似項發現
   1）購物籃模型
   2）Apriori演算法
   3）抄襲文件發現
   4）近鄰搜尋的應用
第八講 流資料探勘相關技術
   1）流資料探勘及分析
   2）Storm和流資料處理模型
   3）流處理中的資料抽樣
   4）流過濾和Bloom filter
第九講 雲環境下大資料探勘應用
   1）與Hadoop/Yarn叢集應用的協作
   2）與Docker等其它雲工具配合
   3）大資料探勘行業應用展望


五、培訓目標
1, 全面瞭解大資料處理技術的相關知識。
2，學習Hadoop/Yarn/Spark的核心資料分析技術。
3，深入學習Mahout/MLlib挖掘工具在大資料中的使用。
4，掌握Storm流處理技術和Docker等技術與大資料探勘結合的方法。