火山引擎 DataTester：如何用 A/B 測試做產品增長？
技術交流、求職機會，歡迎關注位元組跳動資料平臺微信公眾號，回覆【1】進入官方交流群
隨著如今越來越高的獲客成本，使用者拉新變得不再容易；而且由於獲客成本的增高，讓使用者留存也變得更加重要。同時，一個產品的使用體驗好壞、是否給予對應的使用者價值，通常“使用者留存”就被作為重要的衡量指標之一。
那麼，如何將有限的流量發揮出最大的價值，儘可能的提升使用者留存呢？本文將跟隨位元組的一款內容 App 的增長實踐來一探究竟。
該款 App 為使用者提供短篇、中篇、長篇內容閱讀服務，但在 App 推出一段時間後，該產品團隊通過核心指標分析，發現 App 新使用者流失率非常高。其中新使用者 LT（Life Time / 使用者生命週期）、LTV（Life Time Value/使用者生命週期價值）等指標均大幅低於預期，有較大的提升空間。
如何降低新使用者的流失率、提高使用者留存，成為了這款產品亟待解決的問題。
由於位元組的產品在迭代、推廣過程中都會不斷經歷 A/B 測試的打磨，因此該產品團隊首先查看了歷史策略，希望汲取一些經驗。他們在位元組跳動自研的 A/B 測試產品——DataTester 中，查看了該 App 以往的 A/B 實驗歷史，並通過 DataTester 特設的「經驗庫」能力，找到了往期能夠提升使用者留存的產品策略。
他們從「經驗庫」往期 A/B 測試的歷史中看到：
· 往期“7 天簽到禮包”玩法中，新使用者 LT 顯著上升，使用者留存率顯著上升；
· 往年春節期間曾發起過眾多活動，“簽到日曆”的玩法對比其他活動，留存最佳；
.....
總結髮現，往期的“簽到玩法”對比其他策略，對於這款 App 的使用者留存提升通常更為顯著。下圖可看到“簽到玩法”帶來的拉新佔比，及使用者留存趨勢。
因此該團隊判斷，此次產品策略優化，通過優化“簽到玩法”獲取提升該 App 新使用者留存指標收益的可能性較高。那麼在優化方向上具體策略如何制定呢？該團隊通過資料分析後決定從使用者體驗痛點入手。
原產品“簽到玩法”如下：
-
玩法設定在產品二級頁面“福利頁”，使用者必須開啟 App 後再進入“福利頁”，才可以完成玩法任務
-
產品同時設定有兩種“簽到玩法”——「7 天見面禮」與「日常簽到」，兩種玩法會同時彈出，使用者開啟產品後會遇到多重彈窗的情況
這樣的產品策略會帶來“使用者操作路徑過長，領取獎勵難度相對較大”以及“多重彈窗對使用者造成操作打擾”的痛點。產品團隊因此確定了簽到策略的優化思路：降低獎勵領取難度，去除多重彈窗對使用者的打擾。
當優化方向確定後，接下來就需要設計完整的 A/B 實驗方案了；在 A/B 實驗方案設計的過程中，最重要的一點是要計算出取得顯著性結論所需要的流量是多少。 此時，位元組的 A/B 測試產品 DataTester 的優勢就體現出來了。當業務把想提升的指標、數值、提升方向輸入進來後，DataTester 可以直接自動計算所需要的樣本數量，然後經過 A/B 測試的實驗資料來進行效果驗證，幫助業務確認最優解的策略。
最後通過優化新使用者的「7 天見面禮」簽到活動，從 DataTester 的實驗結果上來看，優化後的實驗組的大盤新使用者 LT（使用者生命週期）、留存率等均有明顯的正向提升；不僅如此，在 App 活躍時長、ARPU（平均每使用者收入）等核心指標的資料也均有不同幅度的正向提升；同時新使用者的簽到問題反饋也有所下降。
因此，該 App 將新的策略全量上線，從線上資料表現來看，該 App 的「7 日簽到」策略次日領取率提升了近 20%，使用者多日留存穩定提升了 3%~5%，獲取了超預期的收益。
對於企業而言，更明智、更長期的戰略意味著需要同時專注於自身產品的健康發展以及增長，而這其中最重要的驅動因素是使用者滿意度和使用者留存。注重使用者留存就可以推進增加營收及提高盈利能力，也節省了獲客成本，達到了降本增效的目的。
那麼如何提升核心指標？如何選擇最優的產品策略？如何科學的評估指標提升與策略的關係？如何選準正確的迭代方向並繼續向下探索收益？這些都需要 A/B 測試來進行評估並得到“理性且科學”的資料結果，幫助業務在每一個決策的岔路口上，都做出了更正確的選擇。
DataTester 依靠其先進的底層演算法，提供科學的分流能力和智慧的統計引擎，支援多種複雜的 A/B 實驗型別。在位元組內部幫助今日頭條、抖音等多個產品“擺脫猜測，用科學的實驗衡量決策收益”。 不僅如此，DataTester 也已經由火山引擎對外開放服務，目前已服務了美的、得到、凱叔講故事等在內的上百家外部企業，支援了多種業務場景需求，為業務的使用者增長、轉化、產品迭代、運營活動等各個環節提供了科學的決策依據，將成熟的“資料驅動增長”經驗賦能給各行業。
申請 DataTester 免費試用、瞭解更多 DataTester 詳情，請點選火山引擎A/B測試DataTester官網