大資料包圍你我，技術人如何走知識分享之路
本期推薦：【雲享人物·大咖面對面】華為雲首席產品官方國偉獨家專訪：當下雲發展有待突破的並不是技術問題；現在為什麼是#華為雲# 的最佳時機；以不變應萬變，什麼是雲產品規劃的三個關鍵出發點；生態對於雲的意義是什麼？戳此處，一起來聽技術大咖聊聊雲的故事。
摘要：這些資料是如何一步步包圍你我的生活？在大資料行業從業五年有餘的華為雲專家周培源有話說。
本文分享自華為雲社群《【披荊斬棘的開發者】華為雲·雲享專家周培源：大資料包圍你我，技術人如何走知識分享之路》，作者：我們都是雲專家。
從2014年大資料首次被寫入政府工作報告，7年的時間，我們的生活已經被各種各樣的資料包圍。網路環境下的每一個操作，都有著自己的資料戳，再加上AI、物聯網、5G等技術的快速發展，大資料的價值正在被最大化地挖掘使用。
這些資料是如何一步步包圍你我的生活？在大資料行業從業五年有餘的華為雲專家周培源有話說。
如果興趣與工作重合，再好不過
周培源從大學期間開始接觸計算機基礎技術和C++程式設計，便產生了濃厚的興趣，大學畢業後，他選擇從事大資料研發相關工作，因為“如果興趣與工作重合，那再好不過了。”
做了幾年的大資料工作，周培源對國內大資料行業的發展也有比較清晰的認識，他列舉了這個行業發展迅猛的三個關鍵因素。
一、人口眾多，產生資料量巨大。第七次全國人口普查資料顯示，全國人口總數為14.12億人，我們社交、購物、看病、旅遊，每時每刻都在不斷產生新資料，構造著新的資料大廈。這些通過移動裝置、資料庫、日誌、爬蟲等收集的資料，經過分析後會產生巨大的商業價值。
二、國家政策支援。目前全國有二十多個地區出臺了大資料相關的政策，很多地區設立了專門的大資料管理機構，比如上海的“大資料局”和貴州的“雲上貴州”，高校也開設大資料相關專業，為行業培育大量人才。
三、網際網路行業的發展。國內一分鐘會發生什麼？移動支付金額3.79億元，7.6萬件快遞被收發……網際網路行業的迅速發展，讓大資料技術有了用武之地，同時，大資料也在推動著網際網路行業的發展。
在周培源看來，大資料技術可以完美地解決海量資料的收集、儲存、計算、分析等問題，它的發展是迎合網際網路時代的剛需。
而網際網路公司的工作經歷也讓周培源走上了一條特殊的技術之路，
“一開始是整理自己工作中遇到的問題和解決辦法，併發布到部落格上，漸漸地收到了一些粉絲的好評，同時也明顯感覺到自己過往工作中積累的零散技術點，在整理過程中逐漸長成了‘一棵樹’，並且不斷冒出‘枝丫’，這讓我感到興奮。”
做了近一年的大資料技術總結輸後，周培源收穫了40000+粉絲的關注和支援，也榮獲了一些平臺授予的專家稱號。
從線下到線上，大資料的“魔力”
周培源分享了他經歷的幾個比較典型的大資料專案建設，從業務出發，去挖掘出資料的價值，並反哺業務。
某二手車早期業務數量較小，採用的是傳統資料庫，隨著公司資料線上化建設和業務量的增加，到2018年底，資料查詢量激增300%，資料庫出現查詢延遲或失敗，已經無法滿足總部及城市運營人員檢視資料報表的需求，甚至影響線下交易流程的正常進行。
在專案實施過程中，周培源設計了增量計算方案，將計算時效從1小時壓縮到5分鐘，並開發資料質量監控程式解決資料丟失問題。
和團隊成員經過半年時間的共同努力，專案成功上線，有效保障了線上業務流程的正常進行，系統可用時長從95%提升到99.99%；也為行業內帶來了一套成熟的實時計算的解決方案，並作為案例回饋到開源社群。
另一個令周培源印象比較深刻的案例是某中介平臺的集中籤約資料專案，該平臺在全國開放了300多個簽約中心，但只覆蓋了7%的合同。他們計劃99%以上的二手房合同將通過集中籤約完成，然而缺少資料線上化建設，業務流程中存在大量資料指標缺失及獲取限制，總部及城市無法準確評估簽約中心運營情況，造成整體服務效率低。
針對這些痛點，周培源從品質、規模、效率三個維度搭建出一套集中籤約指標體系，開發了經營看板供總部和城市檢視資料指標。通過這些指標體系和資料報表，該平臺實現了對簽約中心進行有效管理，實現線上線下一體化、智慧化運營，場地利用率和人員效率明顯提升。
知識分享，星火燎原
在從事大資料相關工作的這些年，周培源也明顯感受到了行業的變化。許多傳統企業逐漸轉型升級為資料驅動的企業，藉助大資料技術的力量，傳統的生產、流通和消費等環節呈現出前所未有的“資訊化”、“扁平化”和“無界化”。基於大資料的分析與研究，對消費者行為規律、需求內容、結構、方式及其發展變化的預測更趨科學性。
大資料的儲存、計算等技術也在迅速發展，從傳統的關係型資料庫到分散式資料庫；從離線批量資料抽取到流式的資料實時抽取；從分鐘級資料查詢響應到秒級查詢響應；從伺服器本地部署到雲上部署。
周培源強調，對於處在一線的開發者來說，需要不斷提升技術水平以適應網際網路行業的要求。“在技術知識學習方面，華為雲開發者社群為我們提供資源工具、學習交流、應用實踐、大賽活動等一站式服務。一些棘手的技術問題，總能在上面找到答案或思路。”比如華為雲學院中就有很多免費且高質量的學習課程，對大資料有興趣的可以閱讀《Python程式設計學習路徑》，通過學習+考試的方式進行學習，查缺補漏，夯實基礎。
周培源補充道，“我也時常在華為雲社群上整理分享一些大資料生態系統知識、技術解決方案、程式設計師故事等內容。”（點選直達周培源的部落格主頁）
最後，星火燎原，周培源希望能夠通過他的技術輸出，為國內技術社群蓬勃發展貢獻一點綿薄之力。