如何寫好一篇資料部門規範文件
一 為什麼要編寫規範文件
-
部門技術沉澱
-
開發人員開發時必須遵守的規範，減少後續維護成本
-
新入職同事可以快速瞭解部門各流程規範，減少學習成本
二 如何編寫規範文件(提供簡易大綱)
1 資料模型規範
1.1賬戶許可權
1.1.1表查詢許可權
1.1.1.1伺服器遠端連線HIVE查詢許可權
1.1.1.2 即席查詢許可權
1.1.2表操作許可權
1.1.2.1表建立許可權
1.1.2.2表刪除
1.1.2.3 分割槽刪除
1.1.2.4資料寫入
1.1.2.5 TRUNCATE許可權
1.1.3 UDF函式建立許可權
1.1.3.1 JAR包上傳許可權
1.1.3.2ADD JAR許可權
1.1.3.3CREATE FUNCTION許可權
1.1.4使用者管理許可權
1.1.4.1新增使用者許可權
1.1.4.2 刪除使用者許可權
1.1.4.3 修改使用者許可權
1.1.4.4 查詢使用者許可權
1.1.5 資料來源許可權
1.1.5.1HIVE許可權
1.1.5.2SPARKSQL許可權
1.1.5.3PG許可權
1.1.5.4 ORACLE許可權
1.1.5.5 MYSQL許可權
1.1.5.6 HBASE許可權
1.1.5.7 REDIS許可權
1.1.5.8ES許可權
1.2專案命名規範
1.2.1主專案命名規範
1.2.2子模組命名規範
1.3數倉層級
1.3.1 ODS層劃分依據
1.3.2 DWD層劃分依據
1.3.3 DW劃分依據
1.3.4DWS劃分依據
1.3.5 ADS劃分依據
1.4表建立的規範
1.4.1ODS命名規範
1.4.2DWD命名規範
1.4.3DW命名規範
1.4.4DWS命名規範
1.4.5DIM命名規範
1.4.6ADS命名規範
1.4.7TMP表命名規範
1.4.8欄位型別選擇規範
1.4.9註釋規範
1.5測試表規範
1.5.1 測試表命名規範
1.5.2 測試欄位命名規範
1.6 欄位規範
1.6.1詞根大全
1.6.2欄位命名(詞根組合)規範
1.7時間分割槽規範
1.7.1 時間分割槽欄位命名規範
1.7.2 時間分割槽保留規範
1.8任務規範
1.8.1 任務命名規範
1.8.2 任務開發規範
1.9測試任務規範
1.9.1 任務命名規範
1.9.2 任務開發規範
1.10 測試規範
1.10.1 測試流程規範
1.10.2 測試結果展示規範
1.10.3測試結果修復規範
1.11資料操作規範
1.11.1 建表規範
1.11.2分割槽刪除規範
1.12表的主題規範
1.12.1 大主題劃分規範
1.12.2二級主題劃分規範
1.12.3 各題命名規範
1.13資料模型
1.13.1資料模型選擇規範
1.13.2 資料模型建設規範
1.14指標一致性管理
1.15維度一致性管理
1.15.1共享維表
1.15.2一致性上卷
1.15.3交叉屬性
2 任務上線流程
2.1 模式說明
2.2任務開發
2.3任務上線
2.4 任務排程規範
2.4.1 任務優先順序規範
2.4.2 任務排程時間規範
2.4.3 任務資料來源選擇規範
2.5存檔
2.6資料質量管理
2.6.1 完整性
2.6.2 一致性
2.6.3準確性
2.6.4 唯一性
2.6.5 關聯性
2.6.6 及時性
2.6.7 離群值檢測
2.6.8波動稽核
2.7 元資料管理
2.7.1技術元資料管理
2.7.2 業務元資料管理
2.8 資料安全
2.8.1 數倉加解密方法
2.8.2需求方取數流程規範
2.8.3部門資料安全KPI考核辦法
3運維
3.1 關鍵指標預警
3.1.1 電話告警
3.1.2 郵件告警
3.1.3 簡訊告警
3.2 報錯處理
3.3 資料回補
4 值班規範
4.1 值班排班說明
4.2 值班問題責任歸屬
4.3 值班各部門聯絡人
4.4 值班故障等級評估
如何優化整個數倉的執行時長(比如7點所有任務跑完，如何優化到5點)
深入探究order by,sort by,distribute by,cluster by
