1. 程式人生 > 其它 >火山引擎 DataTester 揭祕:位元組如何用 A/B 測試,解決增長問題的?

火山引擎 DataTester 揭祕:位元組如何用 A/B 測試,解決增長問題的?

 

更多技術交流、求職機會,歡迎關注位元組跳動資料平臺微信公眾號,回覆【1】進入官方交流群

上線六年,位元組跳動的短視訊產品——抖音已成為許多人記錄美好生活的平臺。除了抖音,位元組跳動旗下還同時運營著數十款產品,從資訊、遊戲,到房產、教育等橫跨多個領域。在產品迭代速度和創新能力的快速發展下,位元組是如何解決產出的每款 APP 的增長問題?本文將分享專屬於位元組文化的增長方式。

一、關於增長

1.1 什麼是增長

下圖是一個簡單的增長閉環。

首先在最開始會利用很多類似 UBA 的工具進行使用者行為分析,通過這些分析發現,在這個 APP 發展過程中是不是存在一些新的問題,或者去探索一些新的業務增長點。之後就進入了第二步,資料分析師會把他的推斷傳遞給產品經理,產品經理會提出了一些假設策略,設定一定的目標。

第三步進入到了很關鍵的一個環節:整個位元組內部,不管是功能研發還是演算法模型的迭代,或者是 UI 互動上一個簡單的按鈕顏色的變化都需要去做的驗證——就是 A/B 實驗。在這個過程中,採用各種科學的實驗分析工具或者分析模型,來幫助資料分析師瞭解不同的實驗策略,在整個推進過程中當中會有什麼樣的表現。

最後一步,再結合實際場景去進行分析:這個實驗結論最終帶來了哪些洞見?是否要持續迭代?如此往復,就是一個激發創新和增長的閉環。

1.2 位元組的增長邏輯:選定一個好的目標,然後找到一個好的評估方法衡量

解決問題一定要有好的方法,“資料驅動”是位元組非常看重的一系列方法,而“A/B 測試”是“資料驅動”中至關重要的方法。

要想解決問題,第一個問題是:目標是什麼?確認目標,以及這個目標是否可量化是特別重要的。需要注意的是避免選擇類似使用者畫像這一類目標優先順序不一定高且不好評估的目標。既要考慮使用者體驗,也要考慮一些客觀指標,同時可能輔以一些使用者訪談的直觀印象,最後綜合去制定方向。

資料驅動不是唯資料論,更不是資料至上。我們常說的資料驅動,不是有資料就可以驅動,而是需要對可以量化評估的目標,以 A/B 測試這樣的結果資料才能更好地驅動,它代表的是科學決策的理念,不然資料驅動的決策也可能是很糟糕的決策。

2.應該去選擇一個什麼樣的目標

2.1 目標層次合理性

選擇目標時應該選一個不要太高、不要太低的目標,並且定期衡量特別重要。例如在聊資料驅動思路時,當試圖用資料驅動思路去細化目標時,有利於你仔細反思:我的目標是不是這個?我的目標能不能量化?它會逼你把目標想得很清楚。

2.2 目標可衡量

在選擇目標時,目標的可衡量是非常重要的。它跟資料驅動的理念互相幫助,定好目標,才能更好的應用資料驅動,當你用資料驅動的方法去做事情時,它就會 push 你的目標到底是不是合理。

3.什麼是好的評估方法

一是經驗判斷。 不管什麼公司,每天都在不停的用這個方法,這個方法非常靠譜的,但是有它的問題。從公司層面來看,由於單純依靠客觀指標決策會面臨風險,因此戰略決策往往是由人來做判斷的。但它的問題在於執行層面很容易不一致。戰略決策在執行過程中面臨很多細節問題的決策,參與的人越多,越容易出現不一致性和有偏性。

二是非 A/B 測試的資料分析,但是可能會出現關聯分析中往往帶有偏見,可能會誤導決策。

三是 A/B 測試的資料分析。這是一個更接近真實、更能夠把握住本質的一個方法。類似於打造一個“平行時空”,把不同策略放進去對比實驗,再基於“投石問路”的結果選擇更優方案,降低決策風險。

4.A/B 測試——DataTester 在位元組

位元組跳動有一款中視訊產品叫西瓜視訊,最早它叫做頭條視訊。為了提升產品的品牌辨識度,團隊想給它起個更好的名字。經過一些內部調研和頭腦風暴,徵集到了西瓜視訊、奇妙視訊、筷子視訊、陽光視訊 4 個名字,於是團隊就針對一共 5 個 APP 名稱進行了 A/B 實驗。

這個實驗中唯一改變的是應用市場裡該產品的名稱和對應的 logo,實驗目的是為了驗證哪一個應用名稱能更好地提升“頭條視訊” APP 在應用商店的點選率。最後西瓜視訊和奇妙視訊的點選率位列前二,但差距不顯著,結合使用者調性等因素的綜合考量後,最終決定頭條視訊正式更名為西瓜視訊。

除了西瓜視訊,今日頭條的定名,就是在不同的應用市場上架不同的名稱,來看下載率和分享率,最後“今日頭條”勝出了。抖音也是一樣的,這個名稱並不是第一首選,是做了很多個名稱上架應用市場之後,“抖音”排名第二,最後根據產品形態以及認知,才選擇了“抖音”作為核心名字。

在不斷的創新迭代的過程當中,位元組跳動一直都在高度的關注著整個產品傳遞資訊的一個密度,持續的探索和更新更高效的資訊分發方式。其中最核心的一個理念就是通過資料去驅動創新、驅動增長,然後驅動營銷。而 AB 測試就是這一理念的方法論和工具的載體。

經過了位元組內部業務的多年打磨,這一套在位元組大放異彩的 A/B 實驗工具已正式通過火山引擎對外服務,取名為 DataTester。它基於先進的底層演算法,提供科學分流能力,提供智慧的統計引擎,實驗結果可靠有效,助力業務決策。

目前,DataTester 在位元組內每日新增 1500+實驗,累計已有 150W+ 的 A/B 實驗進行過。在外部客戶的服務上,也已覆蓋推薦、廣告、搜尋、UI、產品功能等業務場景,提供從實驗設計、實驗建立、指標計算、統計分析到最終評估上線等貫穿整個實驗生命週期的服務。來自得到、美的、凱叔講故事 APP 等企業客戶,已經通過火山引擎 DataTeser 開啟了用資料驅動科學決策的道路。

 

點選跳轉火山引擎 A/B 測試 DataTester 官網瞭解更多