“使用USQL產品，使用者在原有的資料檔案基礎上進行資料建模，即可使用SQL進行業務資料的快速查詢，此種方式對原有資料檔案改動較小，使用者不用關注大資料分散式處理的過程，業務遷移方便。對比我們現有的大資料處理方案，節省80%的伺服器成本，提升50%資料分析速度，同時也縮短了新業務的開發週期，值得推薦。”

——愛普新媒CTO 牛德恆

USQL是什麼？

資料湖分析（USQL）是一種可擴充套件性強、成本低廉的無伺服器SQL分析計算引擎，可輕鬆完成面向海量資料的資料建模工作，SQL即可完成資料查詢和分析，極大降低使用大資料的門檻，且無需資料庫管理員和運維人員，大幅度減少對大資料工程師的依賴。

USQL在愛普新媒案例中的表現

計算成本降低97.5%

相較於愛普新媒現在每月花費在資料倉庫UDW（用於臨時存放資料）的數千元，處理同樣的資料，USQL可將成本控制在每月幾十元，因為USQL按照實際分析資料量計費，每GB資料分析價格極低，且不使用時不計費。

任務週期縮短55.6%

愛普新媒現有架構下，處理不固定的資料需求，資料匯入與分析平均處理時長為1.8天，而USQL可省去資料匯入的步驟，減少運維工作量，大幅度縮短每次任務完成時間。

分析效率提升5倍

愛普新媒所有真實業務SQL均已落地，其中最耗時的SQL分析時間可從600秒降至118秒，整體明顯提高SQL分析效率。

大資料工程師投入降為0

目前每月需投入大資料工程師20個人日，使用USQL產品，業務分析師可直接通過SQL在物件儲存UFile中完成資料分析，極大減少對工程師的依賴，有限的人力資源可得到更好的利用。

關於愛普新媒

成立於2010年，是一家專注於移動網際網路產品研發和新媒體整合營銷的高新技術型公司，旗下擁有100餘款精品軟體，內容涵蓋日常生活、效率工具、文章資訊等多個方面，主營以天氣預報、快遊等綜合自媒體矩陣為載體的推廣業務和以雲魔方DSP移動網際網路廣告分發平臺為基礎的廣告投放業務。

面臨的資料挑戰

愛普新媒廣告業務資料規模達到數百TB，日增長量為1TB左右，業務日常不固定的分析需求多，現有的大資料處理方案下，資料部門每月需投入大資料工程師20個人日，額外花費數千元維持一個數據倉庫叢集，且平均每次需求處理時長為1.8天。基於已有架構，資料部門將廣告日誌資料壓縮後存放於物件儲存UFile中，接收到業務分析師不固定的資料需求後，再將用於分析的原始資料，臨時載入到資料倉庫UDW中，完成SQL分析後實施清除操作。

圖：愛普新媒現有架構

業務分析師的抱怨

對於業務分析師而言，資料規模達到數百TB，無法自主完成分析，必須極大程度依賴大資料工程師；並且每次任務處理週期長，若後續有需求變更或分析結果未達預期，還需重新走一遍處理流程；此外當對分析結果存有疑問時，無法檢視原始資料進行校驗。

資料部門的煩惱

業務每月的不固定資料分析需求多，又無法自主完成，需要佔用資料部門有限的技術人力資源；需求變動返工次數多，會導致大量重複性工作；並且隨著資料規模日增長量的不斷提升，用於臨時存放不固定需求資料的GreenPlum成本一直在增加。

產品訴求

基於現狀，愛普新媒的產品需求清晰明確：

支援數百TB規模的資料分析 業務分析師能夠獨立完成不固定需求分析工作 具有較強的Ad-Hoc能力 縮短每次需求處理時長 降低計算成本投入和運維投入

選擇USQL產品

帶著上述訴求，愛普新媒留意到UCloud推出的USQL產品，對其無運維、低成本、低門檻的產品理念產生濃厚興趣，當即聯絡UCloud架構師表達試用的意願。

在與其資料部門溝通的過程中，UCloud架構師發現對方務實且擁有開放的學習態度，對雲端計算也一直保持極大的好奇心，接觸瞭解過資料湖以及Serverless的概念，為雙方的交流奠定了良好的基礎。此外現有架構中計算與儲存是分離的狀態，其原始資料並未與GreenPlum強耦合，這為更換分析引擎的方案實施提供了便利。

USQL替換GreenPlum

新架構中使用USQL替換原先用於臨時載入資料的GreenPlum，省去資料從UFile匯入到GreenPlum的過程，並使得業務分析師能夠直接通過SQL分析UFile中海量資料，全程無需大資料工程師的參與。

圖：愛普新媒新架構

此外，資料對接中發現，愛普新媒的資料格式為JSON並通過GZIP格式壓縮，UCloud瞭解後一週內完成USQL產品升級，得以支援這兩種資料格式，減少對接上的障礙，並協助愛普新媒重新佈局其現有資料，目前愛普新媒實際業務SQL已全部落地，同時完成產品培訓以及現場演示。

圖：實際業務SQL示例

結果顯示分析效率可提高5倍，CTO觀看USQL的例項演示後，當場測算成本，對其在降低成本、提高效率、減少人力方面的表現感到超出預期，已決定將所有離線計算業務都放在USQL上。

如果您也有大資料分析成本的困擾，歡迎加入我們的資料分析群共同探討！

相關推薦