實時數倉Hologres首次走進阿里淘特雙11
簡介：這是淘特在阿里巴巴參與的第二個雙11大促，大促期間累計超過上千萬消費者在此買到心儀的商品，數百萬家商家因為淘特而變得不同，未來，淘特也將會繼續更好的服務於下沉市場，讓惠民走近千萬家。
2021年11月11日23:59:59，阿里巴巴淘特（淘寶特價版）的第二個雙11完美落下帷幕。在雙11大促期間，淘特歷經多個大促爆發高峰，豐富的許可權玩法，各類高性價比貨品，大促期間累計超上千萬人在淘特買到質美價廉的商品。本次雙11大促中，淘特無論是流量、買家還是訂單數都創下新的記錄，交出了完美答卷，這也意味著，阿里巴巴在下沉市場開始斬露頭角。
業務簡介與面臨的問題
淘特(原淘寶特價版)定位為消費者帶來低價且有質量的源頭好貨，目前仍然處於使用者快速增長的階段，其中三方線上廣告投放具有規模效應大，行業成熟度高等特點，是平臺使用者引流的重要渠道。
在淘特為期30多天的雙促期間（雙10，雙11），市場競爭尤為激烈，渠道投放策略的及時優化調整是保障獲量與控本的重要手段。同時針對下沉使用者偏好簡單的玩法和獨特區域性貨盤的特點，平臺需要創新研發各類簡單易於理解的營銷玩法，和相應的站內流量分發機制，促使更多的使用者可以邊玩邊買。
由於本次大促具有時間長與高爆發兩個特點，在這個過程中，我們面臨這這麼幾個問題：
- 流量低價獲客：線上廣告創意規模大，但拉新拉活效果成本參差不齊。但因為不同時間波段流量差異大，如何通過探索式分析，快速定位問題廣告或者挖掘新機會，為大促提供持續穩定的高質量流量成為了優化師們進行投放優化的首要問題。
- 極簡營銷玩法：大促新上各類營銷玩法，營銷玩法的效果需要實時監控。如何實時多維分析，幫助業務進行實現不同場景的不同效果分析，最終反哺業務實現大促交易目標。
- 貨商高效汰換：貨品是電商的核心，超長大促週期下，會場同學需要進行會場貨品調優，行業同學需要通過貨品類目進行供給調整，還有風控、商家管理等多個角色，均需要通過對單商單品的精準強控。其中如何通過實時聚合排序，及時對低效能貨品的汰換，避免流量與轉化效率的錯配。
解決方案
圍繞淘特雙10&雙11，基於上述在流量投放優化、營銷玩法多維分析，品商實時排序等面臨的業務問題下，我們構建了一套基於實時數倉Hologres的統一資料服務系統，從流量、玩法、貨品全方面監控資料，支援業務在大促期間的精細化運營訴求。
下面分別從三方面內容講述淘特在這一領域的實踐。
優化投放持續低價獲客
場景介紹和特點：廣告投放場景偏探索分析，具有查詢頻率中，查詢複雜程度高，對延遲容忍度相對較高等特點。分析師需要從一縱一橫兩個視角進行投放優化，一橫即可以從廣告創意到廣告組、計劃、賬戶、代理、媒體等不同顆粒度。一縱即從展示、點選、消耗的前鏈路資料到啟用、新登、喚端、下單、支付等後鏈路資料。再疊加時間維度進行分析與優化。
實現方案：考慮到上卷與下鑽維度非常多，且查詢不固定，無法採用預計算模式，因此我們選擇圍繞最細顆粒度廣告創意進行加工，將各類維度屬性冗餘成標籤，前後鏈路的效果作為指標，儲存在Hologres上，將分析師在投放中心上的優化的查詢邏輯轉變為基於明細資料的再篩選、聚合、加工的方案。
挑戰與優化：探索式靈活分析，複雜查詢，對Hologres都會產生較大的效能壓力，我們主要考慮了儲存優化、選擇分佈列和索引優化三種種優化方式。
- 在儲存方式上，由於外投中心的使用場景是以範圍查詢、單表聚合為主，所以選用列存的儲存方式。
- 此外由於分佈列將檔案組分成不同shard，然後優先在各shard內執行join和group by操作，所以選用了常用的關聯鍵和聚合維度account_id, campaign_id, adgroup_id, agent, creative_id。
- 在索引優化上，根據不同索引方式我們選用了不同的欄位作為key來優化查詢速度。首先是選用了creative_id作為聚簇列，適用於範圍查詢和篩選所用欄位。使用位元編碼索引在聚簇後進一步進行檔案內點陣圖索引，適用於等值查詢條件，所以選擇了creative_id, account_id, campaign_id, adgroup_id, agent等常用於等值查詢的欄位。最後是分段鍵，該索引是用於標識檔案邊界，常用的是非空時間戳，這裡我們選擇用的是stat_date。
通過上述系列優化使得最終98%以上的通過投放平臺過來的探索式分析查詢可以在3s內完成。
業務收益：該資料產品在目標三方廣告投放運營、產品中覆蓋度100%，運營通過該平臺快速高效的定位並解決包括異常掉量、消耗過高等問題計劃數日均幾十+，使得投放側的優化效率整體提升50%以上。同時還幫助運營能夠快速的找到增量價值渠道等。
權益玩法促使用者成交轉化
場景介紹和特點：營銷玩法投放在包含新人、互動、裂變等不同的場域中，玩法的引導效果還與貨盤強相關，交叉模式以及看數用數指標相對固定，且相對比較高頻。
實現方案：我們在實時計算Blink中通過直接產出CUBE表，寫入Hologres中，基於該CUBE表搭建資料報表。
商品商家汰換高效分發流量
場景介紹與特點：運營小二為了能夠在大促期間對商品與商家進行監控與汰換，就需要有細顆粒的查詢監控，同時由於商品會關注在活動中的各個會場的特色指標表現，且部分活動存在跨多天的情況，所以多日累積的資料也是運營決策的重要參考。
實現方案：我們選擇在實時計算Blink引擎中，完成對最細顆粒度的商品-人的計算，並將相關活動指標打橫，寫入Hologres。在報表層，根據運營的篩選條件進行跨天的彙總到商品、商家粒度的聚合排序。單個分割槽日誌資料商品-人達到了2億左右資料規模，通過索引、分佈列等的優化基本可以滿足單表的各類查詢。
挑戰與優化：實時離線的資料存在一定GAP，在多日的週期下，差異累積放大，導致影響業務的決策判斷，另一方面大促期間人力開發資源緊張，如果用離線資料進行覆蓋，成本額外增加一倍。在此背景下，引入了流批一體的技術方案，使用Hologres進行統一儲存與計算，並且通過Blink Batch實現了實時離線共用同一套程式碼，計算邏輯統一，大幅度降低了重複開發與後續運維成本。
業務總結
這是實時數倉Hologres首次走進淘特的雙11大促，在大促期間，Hologers在流量洪峰的壓力下，以99.8%響應支撐力多個促銷活動的順利開展。資料同學只需要加工最明細資料，便能通過Hologres構建靈活多維的查詢應用，整體的研發效率提升在40%以上(單場景平均5人日下降至3人日)，同時部分原本需要由線上Blink作業的資料計算，轉變為了查詢時再計算的模式，整體計算資源預計有20%左右的減少。
這是淘特在阿里巴巴參與的第二個雙11大促，大促期間累計超過上千萬消費者在此買到心儀的商品，數百萬家商家因為淘特而變得不同，未來，淘特也將會繼續更好的服務於下沉市場，讓惠民走近千萬家。
原文連結
本文為阿里雲原創內容，未經允許不得轉載。