USQL如何幫愛普新媒降低80%成本,提升50%資料分析速度
“使用USQL產品,使用者在原有的資料檔案基礎上進行資料建模,即可使用SQL進行業務資料的快速查詢,此種方式對原有資料檔案改動較小,使用者不用關注大資料分散式處理的過程,業務遷移方便。對比我們現有的大資料處理方案,節省80%的伺服器成本,提升50%資料分析速度,同時也縮短了新業務的開發週期,值得推薦。”
——愛普新媒CTO 牛德恆
USQL是什麼?
資料湖分析(USQL)是一種可擴充套件性強、成本低廉的無伺服器SQL分析計算引擎,可輕鬆完成面向海量資料的資料建模工作,SQL即可完成資料查詢和分析,極大降低使用大資料的門檻,且無需資料庫管理員和運維人員,大幅度減少對大資料工程師的依賴。
USQL在愛普新媒案例中的表現
計算成本降低97.5%
相較於愛普新媒現在每月花費在資料倉庫UDW(用於臨時存放資料)的數千元,處理同樣的資料,USQL可將成本控制在每月幾十元,因為USQL按照實際分析資料量計費,每GB資料分析價格極低,且不使用時不計費。
任務週期縮短55.6%
愛普新媒現有架構下,處理不固定的資料需求,資料匯入與分析平均處理時長為1.8天,而USQL可省去資料匯入的步驟,減少運維工作量,大幅度縮短每次任務完成時間。
分析效率提升5倍
愛普新媒所有真實業務SQL均已落地,其中最耗時的SQL分析時間可從600秒降至118秒,整體明顯提高SQL分析效率。
大資料工程師投入降為0
目前每月需投入大資料工程師20個人日,使用USQL產品,業務分析師可直接通過SQL在物件儲存UFile中完成資料分析,極大減少對工程師的依賴,有限的人力資源可得到更好的利用。
關於愛普新媒
成立於2010年,是一家專注於移動網際網路產品研發和新媒體整合營銷的高新技術型公司,旗下擁有100餘款精品軟體,內容涵蓋日常生活、效率工具、文章資訊等多個方面,主營以天氣預報、快遊等綜合自媒體矩陣為載體的推廣業務和以雲魔方DSP移動網際網路廣告分發平臺為基礎的廣告投放業務。
面臨的資料挑戰
愛普新媒廣告業務資料規模達到數百TB,日增長量為1TB左右,業務日常不固定的分析需求多,現有的大資料處理方案下,資料部門每月需投入大資料工程師20個人日,額外花費數千元維持一個數據倉庫叢集,且平均每次需求處理時長為1.8天。基於已有架構,資料部門將廣告日誌資料壓縮後存放於物件儲存UFile中,接收到業務分析師不固定的資料需求後,再將用於分析的原始資料,臨時載入到資料倉庫UDW中,完成SQL分析後實施清除操作。
圖:愛普新媒現有架構
業務分析師的抱怨
對於業務分析師而言,資料規模達到數百TB,無法自主完成分析,必須極大程度依賴大資料工程師;並且每次任務處理週期長,若後續有需求變更或分析結果未達預期,還需重新走一遍處理流程;此外當對分析結果存有疑問時,無法檢視原始資料進行校驗。
資料部門的煩惱
業務每月的不固定資料分析需求多,又無法自主完成,需要佔用資料部門有限的技術人力資源;需求變動返工次數多,會導致大量重複性工作;並且隨著資料規模日增長量的不斷提升,用於臨時存放不固定需求資料的GreenPlum成本一直在增加。
產品訴求
基於現狀,愛普新媒的產品需求清晰明確:
支援數百TB規模的資料分析 業務分析師能夠獨立完成不固定需求分析工作 具有較強的Ad-Hoc能力 縮短每次需求處理時長 降低計算成本投入和運維投入
選擇USQL產品
帶著上述訴求,愛普新媒留意到UCloud推出的USQL產品,對其無運維、低成本、低門檻的產品理念產生濃厚興趣,當即聯絡UCloud架構師表達試用的意願。
在與其資料部門溝通的過程中,UCloud架構師發現對方務實且擁有開放的學習態度,對雲端計算也一直保持極大的好奇心,接觸瞭解過資料湖以及Serverless的概念,為雙方的交流奠定了良好的基礎。此外現有架構中計算與儲存是分離的狀態,其原始資料並未與GreenPlum強耦合,這為更換分析引擎的方案實施提供了便利。
USQL替換GreenPlum
新架構中使用USQL替換原先用於臨時載入資料的GreenPlum,省去資料從UFile匯入到GreenPlum的過程,並使得業務分析師能夠直接通過SQL分析UFile中海量資料,全程無需大資料工程師的參與。
圖:愛普新媒新架構
此外,資料對接中發現,愛普新媒的資料格式為JSON並通過GZIP格式壓縮,UCloud瞭解後一週內完成USQL產品升級,得以支援這兩種資料格式,減少對接上的障礙,並協助愛普新媒重新佈局其現有資料,目前愛普新媒實際業務SQL已全部落地,同時完成產品培訓以及現場演示。
圖:實際業務SQL示例
結果顯示分析效率可提高5倍,CTO觀看USQL的例項演示後,當場測算成本,對其在降低成本、提高效率、減少人力方面的表現感到超出預期,已決定將所有離線計算業務都放在USQL上。
如果您也有大資料分析成本的困擾,歡迎加入我們的資料分析群共同探討!
相關推薦
USQL如何幫愛普新媒降低80%成本,提升50%資料分析速度
“使用USQL產品,使用者在原有的資料檔案基礎上進行資料建模,即可使用SQL進行業務資料的快速查詢,此種方式對原有資料檔案改動較小
USQL如何幫愛普新媒降低80%成本,提升50%數據分析速度
資訊 挑戰 加載 基礎上 無法 態度 並且 保持 是什麽 “使用USQL產品,用戶在原有的數據文件基礎上進行數據建模,即可使用SQL進行業務數據的快速查詢,此種方式對原有數據文件改動較小,用戶不用關註大數據分布式處理的過程,業務遷移方便。對比我們現有的大數據處理方案,節省8
降低20%成本,國內首個GPU可用區上線
開發十年,就只剩下這套架構體系了! >>>
降低 80% 的讀寫響應延遲!我們測評了 etcd 3.4 新特性(內含讀寫發展史)
作者 | 陳潔(墨封) 阿里雲開發工程師 導讀:etcd 作為 K8s 叢集中的儲存元件,讀寫效能方面會受到很多壓力,而 etcd 3.4 中的新特性將有效緩解壓力,本文將從 etcd 資料讀寫機制的發展歷史著手,深入解讀 
迅雷程浩:痛點不痛,剛需不剛,是90%創業項目的通病(剛需就三點:要麽極大地提高效率,要麽極大地降低成本,要麽極大地提升體驗)
大公司 資源 https data 通信 免費 減肥 聊天 log 首發|黑馬學院 heima_ying;口述|程浩;整理|醬紫君 本文由創業家根據程浩在黑馬營的演講素材整理而成。轉載請聯系創業家獲得授權(微信 ID:chuangyejia) 前言 2
90%、80%成本 集中度
AS blank 20億 https 6.2 aid highlight 改變 5.1 比如某股的持有人只有10個。分別持有價為:1,5,5.1,5.2,5.5,6,6.2,6.9,7,10元。那麽去掉頭尾的1元和10元,80%的成本集中在5-7元之間。集中度指的是這些籌碼
如何通過SD-WAN降低MPLS成本
專用 提高 路由 dsl 機構 mpls 小型 綁定 企業 MPLS(多協議標簽交換)一直是運營商和互聯網服務提供商為企業提供優質點對點連接的主要方法之一。MPLS鏈路的主要用例是將各個分支機構相互連接,即通過第2層連接專用網絡,即根據附加到數據包的第2層標簽完成數據包的傳
公司電腦監控軟件降低管理成本促進企業成長
電腦監控軟件 進行 生存 生產 ron 工程 環境 打分 聊天 創業不易,風險是有的,如何降低企業運營風險就要考驗運營者的水平。企業運營中的人工管理最為棘手的,並隨著時代的發展人工成本的快速上 升已經成為中國制造業必須面對的問題,新的市場經濟環境要求企業對人工成本的管理實施
向降低源頭成本要效益 看東風模具享PLM 之樂
好口碑強於好廣告 看得見的最動人 不像很多企業選型過程像上演一部劇情大片,東風模具的PLM選型沒有任何波折。因為與福田模具的合作,在交流之際便通過福田模具瞭解到了華天軟體給其實施的Teamcenter,以及WIT-CAPP等軟體的整合化方案,因此在考慮軟體和合作夥伴時順理成章選定華天軟體。當時的華天軟體與西
新媒之家不一樣的社群,不一樣的理念
新媒之家這個名字對於很多人並不陌生,但是它卻僅僅成立了一年多。創建於2017年3月26日,是依託於財神大咖大社群下衍生的新平臺。這一年多以來,它在網際網路這個大環境的不斷磨鍊得到快速的成長。一直以一個專業者的姿態來探究這個行業的深度。而今年,新媒之家將在此基礎之上,以一個全新的使命出發,通過整合網際
什麼是雲端服務?4大迷思常見問題,雲端工作如何提升效能降低公司成本? – JANDI Blog
雲端工作思維:高效能的工作環境破除 4 個常見迷思之後,讓我提供幾個「雲端工作情境」給你參考:實體店面(零售業):擁有許多分公司或分店的組織,異地協作非常困難。但擁有了雲端思維後,工作與溝通變簡單了,不用設定很多主機,資料就能即時同步,不會再因為紙本紀錄下的版本錯亂而疲憊煩躁,雲端技術能讓大家像是在同一地工作
理想+新媒之家可以這麼玩?瞭解這些你也可以走上人生巔峰,迎娶白富美
你的工作能給你帶來什麼?錢途無量還是職場成就? 你有沒有遇到這麼一個老闆,總喜歡描繪公司廣大的藍圖,畫著垂涎欲滴的大餅每天都掛在腦門,讓你愉快的下班,疲倦的下班。將你壓榨到渣都不剩! “別跟我談理想,我的理想就是不工作!” (吐槽截圖) 這是我的夢想! 畢竟不管
windows系統無法識別惠普新一代印表機的USB虛擬埠的問題
家裡購置了一臺HP LaserJet P1108家用小型印表機,在電腦的裝置和印表機頁面中,使用嚮導添加了印表機,安裝了該型號的印表機的驅動(根據型號到惠普官方網站上下載的驅動,連結為:https://support.hp.com/cn-zh/drivers/)
圍牆裡的“大生意”,重運營的社群零售如何降低人力成本?
文|曾響鈴 來源|科技向令說(xiangling0815) 富士康被爆計劃裁員34萬的訊息,再次把“人力成本”這個詞推上了風口浪尖。 某種程度上,與富士康相比,社群零售有種同樣量級的人力需求,面臨同樣的成本壓力。只不過一方面他們被分散到一個個“配送半徑”裡,另一方面其配送對人力的需求是剛
WSTMall怎麼--WSTMall致力O2O開源軟體降低企業成本
THINKPHP是國內最知名、使用者量最廣的框架,WSTMall基於Thinkphp 3.2開發,在優化TP之後開發的一套電商系統,所以一般的個人跟企業運營站點在負載這一塊可以不用過於擔心,可將更多的
降低成本,提高生產力—8句話講清RPA的部署
疑問 size 適合 無需 焦慮 運行 業務流程 組織 blog 如何提高生產力同時降低成本,是企業在深入發展中所面臨的挑戰。RPA(機器人流程自動化)的出現,可以幫助企業提高業務流程效率,實現創新發展。RPA機器人模擬人類的操作方式,通過用戶界面與應用程序交互,遵循簡單的
接到新數據庫時,分析業務常用的SQL語句
增加 臨時 columns != question 名稱 信息 語句 insert USE DataBaseName--清空當前GridView顯示,釋放內存: SELECT GETDATE() --數據庫關系圖 SELECT * FROM sysdiagra
時間成本,機會成本,沈沒成本
現實 一點 問題 但是 道路 有用 付出 最簡 經濟學 以前跟一個同學聊天的時候他提到了“沈沒成本”這個詞,後來在網上深入了解了一下,發現還有“時間成本”和“機會成本”這兩個概念。 其實從我們出生的那一刻起,我們就不斷的面對抉擇。我們每向前邁出幾步便會遇到一個十字路口:向左
如何給一塊新硬盤安裝grub,讓它成為一個只有一個內核的系統
libc key 分區類型 con mount 問題 2.6 usr grub.conf (1)先關機 (2)添加一塊硬盤 (3)將硬盤分區,/dev/sdb1為boot分區,/dev/sdb2為swap分區, /dev/sdb3為根分區 (4)調整/dev/sdb2
非常新能源鋁電池項目的產業化展開的分析報告v1.1
工程 排除 工作 風險 nic 股份 電源 20M 辦公 非常新能源鋁電池項目的產業化展開的分析報告v1.1 負責人:魏偉 合夥人:王春光 簽約員工:史曉樂、史海清、陳正旺 摘要: 本小組針對福建臺州非常新能源鋁電池項目的產業化展開的分析報告,並對產業進行分析研