隨著國內遊戲使用者數量趨於飽和，中國遊戲產業也從高速成長期逐漸轉型，市場成熟度提升，競爭趨於精細化。

隨著遊戲出海以及私域流量運營的挑戰，遊戲企業對資料分析的使用需求和依賴度進一步提高。而在遊戲研發立項、驗證、開發、測試、上線和運營等階段 A/B 測試均能發揮重要作用。

本文講述一個通過 A/B 測試獲得“資料驅動增長”能力的遊戲產品故事。並介紹在遊戲的研發推廣的全流程中，A/B 測試都能應用於哪些場景。

快速試錯，A/B 測試打磨爆款遊戲

遊戲行業發展至今，先後經歷了主機遊戲時代、網頁遊戲時代、移動遊戲時代等多個階段，如今移動遊戲收入佔國內遊戲收入的 7 成以上，許多傳統遊戲公司正面臨著轉型壓力。而隨著遊戲技術的日趨成熟，大批新興公司湧入該行業，進一步加劇了競爭壓力。

遊戲研發流程大致分為立項、驗證、開發、測試、上線準備和運營六個階段，每個階段往往都伴隨著許多修改。

修改的效果如何？對於核心指標是否會有負面的影響？傳統的思路，是將新特性上線後驗證效果，但這也往往存在上線週期長，過分依賴經驗，影響面廣等問題。

A/B 測試能夠完美地解決上述痛點。它通過在線上流量中取出一小部分，完全隨機地分給原策略 A（對照組）和新策略 B（實驗組），再結合科學的統計方法 ，得到對於兩種策略相對效果的準確估計。

A/B 測試使用線上小流量即可驗證效果，並能夠有效地衡量不同策略的收益。

"全民彈彈彈"的 A/B 測試故事

在發行時曾榮獲“年度最佳休閒遊戲”大獎的《全民彈彈彈》，是超休閒遊戲類的爆款產品代表。它是一款操作簡單、極易上手的球跳塔類休閒遊戲，玩家既可以讓彈球一層一層地擊穿彩色磚塊，享受純粹的彈射快感，也可以解鎖更多未知的球球，體驗合成的養成樂趣。

在這款遊戲研發和推廣過程中，借鑑了位元組跳動的增長經驗，接入了位元組自研出品的 A/B 測試產品——火山引擎 DataTester，對遊戲的多個環節進行了 A/B 測試。

在《全民彈彈彈》的遊戲運營環節，為驗證遊戲首頁對玩家留存和廣告資料的影響，設計了兩款首頁方案通過 A/B 測試進行玩家留存資料的對比：跳塔頁（左圖）、合成頁面（右圖）。

經過在 DataTester 中執行 2 周的實驗測試，結果顯示，首頁為合成頁（右圖）的頁面在使用者 3 日留存、使用者 7 日留存以及廣告效果等核心指標中，均明顯優於對照組跳塔頁（左圖）的方案。

在 A/B 測試的資料結果支撐下，《全民彈彈彈》最終全量上線了合成頁面的方案，並取得了優異的效果。

一款遊戲從研發到打磨，再到上線後的不斷調優，全鏈路均可通過 A/B 測試提升效率和決策準確度。除上述場景外，DataTester 還能在遊戲產品中，應用於以下場景：

1.驗證新手引導改動，新手任務難度調整，初始資源調整等

2.驗證關卡難度、裝備爆率、寶箱中獎率調整等影響遊戲體驗的的改動

3.驗證商城介面，積分系統，公告欄、banner、按鈕、圖示等功能性區域的改動

4.驗證匹配系統、好友系統、聊天系統等社交性功能改動

5.驗證遊戲 IP、NPC、遊戲場景、劇情的改動

實驗分層，可無限拓展實驗流量

在遊戲內測階段，常常會遇到需要多個 A/B 測試並行的場景：

小 A 要驗證新的武器系統，需要 50%的流量驗證；小 B 修改商城介面，也需要 50%的流量；小 C 對新手任務進行了完善，同樣需要 50%的流量驗證。此時同時進行 3 個實驗，需要 150%的流量。

線上流量不夠用，只能對實驗進行優先順序排序，讓幾個實驗先後進行，但這會導致效率低下。

火山引擎 A/B 測試 DataTester 流量分層技術，將總體流量複製“無數遍”，形成”無數個”流量層。流量層兩兩之間相互正交，再加之執行在相同層的實驗流量互斥，從而保證同時執行多個實驗不會互相干擾。

實驗分層技術可以有效的解決線上流量不足的情況，尤其是在遊戲內測階段，這個階段往往獲取使用者難度較大。需要通過釋出內測任務，小規模買量等方式獲得遊戲玩家，流量獲取成本高。

而這個階段既需要驗證遊戲的效能、相容性，又要對遊戲的玩法、關卡設定、故事劇情、營收模型等進行調整。

如果內測時間過長，不僅需要持續的買量投入，也會導致遊戲上線節奏被拖慢，甚至可能錯過市場熱點。通過 DataTester 實驗流量分層技術，打破流量限制，大大縮短遊戲驗證時間，快速上線迭代。

3 大實驗場景，提高遊戲推廣效率

除了傳統的客戶端、服務端 A/B 測試以外，火山引擎 DataTester 還設有 3 大針對特殊場景的 A/B 測試能力，可以大幅提升遊戲在廣告投放、資訊推送等場景下的效率。

• 推送實驗：通過對推送通知的標題、內容、點選動作等進行測試，找出效果最優的方案。

DataTester 支援多種推送通道、裝置型別；可應用於遊戲的拉新、召回以及活動推廣等場景，及時響應效果，避免負面影響。

• 廣告實驗：提升廣告投放 ROI，可對比不同的實驗文案、不同的投放渠道的廣告投放效果。

DataTester 可以通過轉化增效度量的方式來控制“自然轉化”對實驗效果的影響，保證廣告實驗的科學性和嚴謹性。

• 視覺化實驗：DataTester 可以達成所見即所得的 A/B 測試配置，新手小白也能直接上手使用。

通過所見即所得的線上編輯，降低在 Web/H5 頁面優化的場景下，產品方和運營方使用 A/B 測試工具的成本。可用於遊戲活動的推廣頁面，抽獎頁面的效果對比，無需程式設計即可快速上線。

上述能力均來自於位元組跳動在多年業務打磨中，完成過 150 萬餘次 A/B 測試的經驗積累，因此產品在實用性和易用性方面能力極強。

出海遊戲，DataTester 保駕護航

如今全球化運營已經成為新的趨勢，海外遊戲營收相較於國內有著更高的增長性。國內自研遊戲紛紛出海，快速搶佔重點地區份額。與此同時也帶來了差異化運營、全球化釋出、資訊保安等全新的挑戰。

• 地區差異化運營

由於各國文化、宗教信仰、潮流趨勢的差異，相同的遊戲活動和修改，在海外不同的地區往往取得的收益各不相同。對於公司來說，海外不同地區的差異化運營，往往需要積累各地的運營經驗，成本通常較高。

盲目的推行，又容易導致一些負面的影響。DataTester 的 A/B 測試支援圈選不同地區的遊戲使用者，可以針對不同地區的使用者開展針對性的測試，能夠快速的比較實驗結果，確定該地區的最優方案。

• 全球化釋出

全球化釋出也是公司在出海過程中所不得不面臨的挑戰。全球化釋出意味著運維成本的提高，同時多版本的管理也增加了發行的複雜性。

DataTester 執行中的 A/B 實驗，支援直接轉換為特性進行釋出。同時支援漸進式釋出、定時釋出，以及回滾操作等。通過使用特性發布功能，使釋出流程更加簡潔，減少釋出風險。

產品介紹

DataTester 是火山引擎數智平臺旗下產品，經過抖音、今日頭條等位元組業務多年驗證，累計開設過 150 萬次 A/B 測試，可基於先進的底層演算法，提供科學分流能力和智慧的統計引擎，支援多種複雜的 A/B 測試型別。

在應用和分析場景上，DataTester 深度耦合推薦、廣告、搜尋、UI、產品功能等多種業務場景需求，為業務增長、轉化、產品迭代，策略優化，運營提效等各個環節提供科學的決策依據，讓業務真正做到資料驅動。

目前，DataTester 已在外部多家企業上線應用，將成熟的“資料驅動增長”經驗賦能給遊戲、汽車、大消費、金融等多個領域。

申請 DataTester 免費試用、瞭解更多 DataTester 詳情，請點選火山引擎A/B測試DataTester官網