1. 程式人生 > >元資料與資料治理|學習彙總

元資料與資料治理|學習彙總

以下是學習元資料與 資料治理的整個過程:包含技術總結和心裡變化情況

 

以日誌的形式進行彙總

2019.1.4   (第一天:接觸需求)

需求定義

第一天 講解需求(   資料倉庫、元資料處理建設)

內心變化 

片面的理解是關係型資料;

片面的理解是常規的增刪改查詢;

根據需求網上搜索相關資料接觸 到Apache Atlas,對就是那麼一眼,不過在後來的交流當中,領導也提到了這個外掛,所以加深了他的印象

前期缺點 1.理解是有誤區的   2.思路是混亂的  3.Apache Atlas是有抵觸,看了下相當麻煩,主要以前涉及的技能點都沒怎麼用上,完全新的 領域

2019.1.7(第二天  蒐集資料,確定系統定位)

探討了專案每個系統的定位(好在有個 週六日,假期思考了下,將資料和api通過某種方式關聯起來)

初步確定了方向(紅線部分就是所需 要做的)

 

雖然思路理清楚,但是很多技術是接觸不多的,心裡對預期不是很有把握

2019.1.8 (第三天 搜尋資料,瞭解各個名詞概念)

    開始網上搜索資料:正式開啟,暫且決定Apache Atlas入手

 

看第一篇,看到hadoop這個詞也就是文章的第一段,然後就百度開始搜尋"Hadoop技術棧",引出了第二篇(朦朧的)、第三篇(漸漸明白概念意識)

看完之後自己簡單構建了了個技術發展圖(請看完以下文章後再仔細看圖)

文章學習路線蒐集:  由第一篇演化出不同的文章分支

元資料與資料治理|使用 Apache Atlas 進行資料治理 (第一篇) 

 元資料與資料治理|Hadoop技術棧(第二篇)

元資料與資料治理|大資料生態及其技術棧(第三篇)

元資料與資料治理|Spark初探(第四篇)

 元資料與資料治理|MapReduce統計詞語出現次數(第五篇)

 元資料與資料治理|Spark SQL結構化資料分析(第六篇)

 元資料與資料治理|MapReduce概述(第七篇)

 元資料與資料治理|Intellij IDEA提交遠端Hadoop MapReduce任務(第八篇)

2019.1.9 (第四天 安裝 Apache Atlas

   下午開始安裝 Apache Atlas,中間 穿插做了下其它工作

    開始寫安裝 步驟

Apache Atlas安裝過程詳解(未完成 版本)

2019.1.10 (第四天 完成安裝 Apache Atlas

完成Apache Atlas的安裝,安裝文章初步寫完,安裝檔案準備ok(暫未上傳)

 

元資料與資料治理|Apache Atlas安裝過程詳解(初步版本)

元資料與資料治理|大資料治理(第九篇)

元資料與資料治理|大資料之數倉平臺設計(第十篇)

元資料與資料治理|Apache Atlas API使用入門(第十一篇)

來一張安裝ok的圖(明天繼續)