DataPipeline丨DataOps的組織架構與挑戰
作者:DataPipeline CEO 陳誠
前兩週,我們分別探討了“資料的資產負債表與現狀”及“DataOps理念與設計原則”。接下來,本文會在前兩篇文章的基礎上繼續探討由DataOps設計原則衍生出的具體組織架構。
讓資料快速從負債變成資產,絕不僅僅是某種軟體或者工具就可以做到的,我們需要構建相應的文化。DAMA的資料治理體系,非常詳細地介紹了大量常見的崗位和職責,在此就不一一贅述,只是在此增加一些貫徹DataOps時非常關鍵的細節。
我們觀察到有些企業開始讓業務決策流程更多的基於資料而非完全基於等級權力、直覺經驗。比如,讓薪酬績效和使用資料創新的程度掛鉤,公開表揚那些通過小步快跑使用資料為公司開源節流做出貢獻的先進標兵等等。
但如果仔細觀察,這些都是資料文化落地的結果,而非原因。我們認為,改變文化最重要的是構建與願景相符的組織架構和責權利說明。否則再多措施,都將是杯水車薪。Gartner預測,到2021年,CIO將像首席人力資源官那樣擔負起文化變革的職責,將“文化即障礙”的話題轉向“文化即賦能”。
而DataOps所代表的資料驅動文化,並不適合所有組織,只適合那些業務過程中產生的資料價值密度比較高,並相信資料可以提升改變的組織。
在探索組織架構的設計原則中,我們一定要堅持合規、快速、開放三個原則,明確實踐DataOps過程中所需的角色和職責。
執行長和董事會
資料即戰略,CEO和董事會需要深刻理解快速將資料戰略落地的意義和風險,並著手構建下述組織架構,鼓勵相應的文化和創新。
CEO都是戰場上拼殺出來的將領,既要關注生存,也要關注發展,所有創新的主題都需要圍繞業務價值,而資料很難做到立竿見影,所以平衡短期收益與長期發展考驗的是CEO的智慧。例如,Nike在開展數字化轉型的若干年後才開始連續N個季度的兩位數增長。CEO既要鼓勵創新,又要有耐心培育新的土壤。如果CEO在公佈決策時都是引用資料,並對企業內部的資料創新非常熟悉,那麼DataOps已經成功了一半,否則其他人的努力有極大概率會付諸東流。
首席資料官(CDO)
由CEO領導,CDO就是用資料創造業務價值的營運長,直接負責公司組織內部資料發展策略落地的詳細路徑和整體節奏,根據業務模式確定合規要求、需求滿足的價值、速度、流程、以及自動化、智慧化技術路線的選擇。
這裡一定要注意滿足業務需求的速度和質量,由於資料需求的挑戰較大,太多CDO無法在一定時間,一定業務範圍內快速達成CEO、董事會、業務部門希望看到的效果。沒有一個好的起點,首席資料官的工作就會喪失前進的節奏,陷於和業務部門就資料的上收、使用等流程長期討論和拉鋸的泥潭中,造成惡性迴圈,使這個崗位變成高危職位,很難度過蜜月期。據我們觀察,很多企業開始設立CDO的崗位,並嘗試通過資料帶來業務增長,客觀來說,這和其他高管職位一樣,是一個機遇與挑戰並存的情況。
資料合規與標準委員會
由CEO領導,並由公司的業務線領導、法務領導、首席資料官組成,詳細制定出資料使用的邊界、自由度和資料質量標準。負責隨著業務的發展保持最高頻率(一般是一週一次)的討論更新,同時使用自動化的工具將規則同步至資料系統中。如果業務的變化無法從合規層面保持一致,就會逐步成為限制資料使用的瓶頸。這裡的挑戰在於不讓規則討論過於大而全,要儘快在一定範圍內達成共識,逐步推動部分範圍內規則地快速落地,否則會使願景的落地失去前進節奏。
資料部門
由首席資料官領導,包括資料工程師,分析師和資料科學家。資料工程師負責使用符合時代挑戰的自研或者商業的工具,確保業務使用者可以自助式地完成資料全生命週期的使用和管理。同時負責企業內外的資料來源能自動高效地整合融合,快速滿足業務取數、用數需求,另外通過保證元資料、主資料、資料血緣與業務發展時刻保持一致,讓業務準確無誤地理解資料語義。
他們不僅要確保大資料平臺的負載均衡、穩定性,可以隨時響應業務對資料模型的計算和查詢需求。還要遵循標準委員制定的標準,通過手工制定規則和各種演算法確保資料質量並儘可能做到前置預警。通常情況下,為了快速支援業務部門實踐資料服務,創新業務模式,資料部門需要對外提供根據業務許可權快速構建服務API化內部資料的能力(Gartner定義為Data Hub)。
最後,也是非常重要的一點,在應對業務部門的需求時,需要有一套“定價體系”。因為資料支援業務的發展探索是存在成本的,但目前業務部門對此並無感知,更核算不出ROI,例如雲服務、資料服務API的成本,完成需求所需的人力成本(如果是純自助可靈活考慮)。在成本面前,很容易篩選出真需求,排出優先順序,並且在後續服務中理清ROI。這條路舉步維艱,但又勢在必行,否則資料部門的業務價值困境始終會存在。 這裡需要討論的是,有時資料部門在沒有設立首席資料官的情況下也由CIO領導,這時有一個職責劃分藝術,每個企業的情況都不同,但CDO的重點職責是在合適的企業內帶領資料組用資料快速產生業務價值。CIO的職責範圍更廣,但專精的領域不在該點上。
業務部門
部門中應當擁有能深入理解業務的分析師和科學家,自助使用資料部門提供的工具,這時使用門檻會不斷降低,取數用數的難度和週期也會大幅下降,技能的要求一般是SQL級別。因此業務部門需要更加理解資料,並構思資料可以應用到自身業務發展的角度,再通過管理資料使用的全生命週期,在實踐中不斷總結。 挑戰在於如何能快速用資料高效地帶來業務價值,通過解耦來擺脫發展受到資料部門效率制約的現狀。
對上述問題感興趣的夥伴,請持續關注DataPipeline
參考資料:《資訊長:打破文化壁壘,賦能數字化轉型》作者 / GartnerInc
&n