元資料與資料治理|學習彙總
以下是學習元資料與 資料治理的整個過程:包含技術總結和心裡變化情況
以日誌的形式進行彙總
2019.1.4 (第一天:接觸需求)
需求定義
第一天 講解需求( 資料倉庫、元資料處理建設)
內心變化
片面的理解是關係型資料;
片面的理解是常規的增刪改查詢;
根據需求網上搜索相關資料接觸 到Apache Atlas,對就是那麼一眼,不過在後來的交流當中,領導也提到了這個外掛,所以加深了他的印象
前期缺點 1.理解是有誤區的 2.思路是混亂的 3.Apache Atlas是有抵觸,看了下相當麻煩,主要以前涉及的技能點都沒怎麼用上,完全新的 領域
2019.1.7(第二天 蒐集資料,確定系統定位)
探討了專案每個系統的定位(好在有個 週六日,假期思考了下,將資料和api通過某種方式關聯起來)
初步確定了方向(紅線部分就是所需 要做的)
雖然思路理清楚,但是很多技術是接觸不多的,心裡對預期不是很有把握
2019.1.8 (第三天 搜尋資料,瞭解各個名詞概念)
開始網上搜索資料:正式開啟,暫且決定Apache Atlas入手
看第一篇,看到hadoop這個詞也就是文章的第一段,然後就百度開始搜尋"Hadoop技術棧",引出了第二篇(朦朧的)、第三篇(漸漸明白概念意識)
看完之後自己簡單構建了了個技術發展圖(請看完以下文章後再仔細看圖)
文章學習路線蒐集: 由第一篇演化出不同的文章分支
元資料與資料治理|使用 Apache Atlas 進行資料治理 (第一篇)
元資料與資料治理|MapReduce統計詞語出現次數(第五篇)
元資料與資料治理|Spark SQL結構化資料分析(第六篇)
元資料與資料治理|Intellij IDEA提交遠端Hadoop MapReduce任務(第八篇)
2019.1.9 (第四天 安裝 Apache Atlas )
下午開始安裝 Apache Atlas,中間 穿插做了下其它工作
開始寫安裝 步驟
2019.1.10 (第四天 完成安裝 Apache Atlas )
完成Apache Atlas的安裝,安裝文章初步寫完,安裝檔案準備ok(暫未上傳)
元資料與資料治理|Apache Atlas安裝過程詳解(初步版本)
元資料與資料治理|Apache Atlas API使用入門(第十一篇)
來一張安裝ok的圖(明天繼續)