[大資料專案]-HBase+SpringBoot實戰分散式檔案儲存
2018最新最全大資料技術、專案視訊。整套視訊,非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾,詳細內容如下,需要的聯絡QQ:3164282908(加Q註明部落格園)。
視訊高清不加密,需要加QQ。
更有海量大資料技術視訊、大資料專案視訊,機器學習深度學習技術視訊、專案視訊。Python程式設計視訊、Oracle資料庫視訊、Java培訓視訊高階架構師視訊等等等。
-
第1章 課程簡介
課程簡介及期望學習本門課程可以達到的目標。對本門課程所用到的技術進行概覽
- 1-1 學前必讀(助你平穩踩坑,暢學無憂)
- 1-2 導學
- 1-3 課程技術分析
- 1-1 學前必讀(助你平穩踩坑,暢學無憂)
-
第2章 HBase簡介與環境部署
介紹HBase是什麼,能做什麼,有哪些優缺點,適用於哪些應用場景,與常用關係資料庫有什麼不同。並配置安裝Hadoop偽分散式叢集,HBase偽分散式叢集。為後面章節實戰測試提供環境支援。
- 2-1 HBase簡介及其在大資料生態圈的位置
- 2-2 HBase資料儲存模型及與關係型資料庫的區別
- 2-3 Hadoop偽分散式叢集安裝
- 2-4 HBase偽分散式叢集安裝
- 2-5 HBase基礎架構
- 2-6 HBase階段小結
-
第3章 HBase原理與實戰
介紹HBase基礎原理,以讀寫流程為引,結合前面叢集部署所展現的HBase三大模組,講解HBase各個模組之間的協作,幫助我們瞭解HBase的執行機制。並對HBase進行實戰操作,講解基本的shell命令及java api。重點講解如何通過過濾器篩選資料...
- 3-1 HBase寫流程
- 3-2 HBase讀流程
- 3-3 HBase模組協作
- 3-4 HBase實戰:Shell命令實戰
- 3-5 HBase實戰:Java Api實現HBase連線類
- 3-6 HBase實戰:Java Api實現HBase操作類
- 3-7 HBase實戰:用過濾器篩選資料
- 3-8 HBase階段小結
-
第4章 HBase進階
講解HBase的高階特性,常用的優化策略,協處理器等,並實戰開發協處理器,將開發的協處理器載入到HBase測試環境,驗證其功能
- 4-1 HBase優化策略一:服務端優化策略
- 4-2 HBase優化策略二:常用優化策略
- 4-3 HBase優化策略三:讀寫優化策略
- 4-4 HBase協處理器簡介
- 4-5 HBase實戰:開發RegionObserver協處理器
- 4-6 HBase實戰:HBase協處理器載入
-
第5章 容災與監控
HBase容災策略的簡要介紹,配合命令演示如何對資料進行備份和恢復。簡要介紹HBase的監控重要性以及常用的監控方式。實戰開發通過jmx獲取HBase執行時資料,監控叢集狀態
- 5-1 HBase備份與恢復
- 5-2 HBase監控簡介
- 5-3 Hadoop JMX監控實戰
- 5-4 HBase JMX監控實戰
-
第6章 Phoenix & Sqoop
對HBase業務應用過程中常用到的第三方開源工具Phoenix和Sqoop進行介紹和實戰操作。Sqoop幫助我們快速的將關係庫的資料匯入到HBase,而Phoenix實現通過SQL對HBase進行資料查詢功能,降低了我們學習HBase的門檻。
- 6-1 Phoenix簡介
- 6-2 Phoenix安裝
- 6-3 Phoenix實戰:shell命令操作Phoenix
- 6-4 Phoenix實戰:java jdbc操作Phoenix
- 6-5 通過mybatis操作Phoenix
- 6-6 通過mybatis操作Phoenix
- 6-7 Sqoop簡介
- 6-8 Sqoop資料匯入實戰
- 6-9 課程小結
-
第7章 需求分析與技術選型
模擬提出一個企業中會遇到的實際的需求:如何構建一個物件儲存服務。分析實現一個物件儲存服務的可行性,以及如何對技術進行選型,HBase可以做哪些工作等
- 7-1 老闆提出一個需求
- 7-2 技術選型
-
第8章 功能梳理與方案設計
對我們需要實現的物件儲存服務功能點進行梳理,並設計制定物件儲存服務的實現方案,這裡我們會討論兩種不同設計方案的功能差異及優缺點,最終選中其中一種方案並進行正式開發前期準備工作。
- 8-1 功能梳理和資料庫設計
- 8-2 檔案儲存設計方案一
- 8-3 檔案儲存設計方案二
-
第9章 子模組-資料庫操作模組
hos服務基礎資料庫選用mysql,本章實現基於SpringBoot+Mybatis的mysql資料庫的操作模組,採用c3p0連線池,完成資料庫連結的相關配置工作。
- 9-1 Zookeeper安裝與HBase配置優化
- 9-2 Hos開發邏輯梳理
- 9-3 Hos模組劃分及mybatis配置
-
第10章 子模組-使用者管理模組
Hos服務使用者管理模組開發,基於第九章的資料庫操作模組,開發相關的實體類對使用者的增刪改查操作並對相關功能進行測試
- 10-1 Hos使用者管理模組開發1
- 10-2 Hos使用者管理模組開發2
-
第11章 子模組-許可權管理模組
本章節我們將一起實現基於Token的服務許可權管理模組,梳理Token的認證機制,實現對Token的增刪該查以及授權操作
- 11-1 Hos許可權管理模組開發1
- 11-2 Hos許可權管理模組開發2
-
第12章 子模組-檔案管理模組
Hos服務核心模組檔案管理模組開發,包含Bucket的增刪改查以及檔案的增刪改查操作,本節會通過zookeeper實現分散式鎖,保證檔案及資料夾的一致性。
- 12-1 Bucket管理模組開發
- 12-2 HDFS和HBASE操作類1
- 12-3 HDFS和HBASE操作類2
- 12-4 Hos檔案管理模組實體類開發
- 12-5 Hos建立刪除Bucket方法開發
- 12-6 Hos上傳檔案方法開發
- 12-7 Hos獲取檔案方法開發
- 12-8 Hos刪除檔案及列出檔案方法開發
-
第13章 子模組-介面模組
Hos服務介面模組的開發,統一完成Hos服務的登入認證,許可權驗證以及各個功能的restful API,並利用Insomnia/Postman對各個介面的功能進行測試。
- 13-1 Hos服務登陸驗證
- 13-2 Hos服務web許可權配置類開發
- 13-3 Hos服務使用者及許可權管理介面開發
- 13-4 Hos服務檔案管理介面開發
- 13-5 Hos服務API介面測試
-
第14章 子模組-SDK模組
開發並測試Hos服務的SDK模組,SDK模組為基於HTTP介面的Hos服務訪問模組,支援其他模組引用並對Hos進行操作。
- 14-1 SDK模組HosClient類開發
- 14-2 SDK模組HosClient功能開發
- 14-3 SDK模組測試
-
第15章 課程總結
對整個課程的所用到的理論,技術做一個簡單的回顧總結,提出優化的空間
- 15-1 課程總結