如何衡量前端基建的效能價值?
寫在前面
不同於商用產品,對內的工具/平臺大多沒有明確的直接業務價值,需要通過可量化的指標來衡量其效能價值,本文試圖建立一個可直接套用的資料指標框架,讓內部工具/平臺的價值也能看得見、說得清
一.分析生產活動的核心要素
從面向物件的角度來看,前端工程是物件和物件間的關係及互動行為
(摘自面向物件視角下的前端工程體系)
其中,物件分為主體物件與客體物件兩類:
物件,是對前端應用生產活動中各個實體的抽象,其中一些物件是主體(比如充當不同角色的人),另一些是客體(比如工具、平臺等各種具體事物),物件之間通過一系列互動行為來完成前端應用的開發和交付
即人與工具,是直接關係到生產力的核心要素:
工具越強大、越智慧,人的操作效率越高、心智負擔越小
P.S.心智指的是人認識事物的方法和習慣,會影響使用者如何認知周遭世界以及如何採取行動,取決於對應角色的認知情況、記憶、主動獲取教育與被動教育的渠道和方法、以及基於角色的競品使用習慣等,具體見工具類產品的體驗度量四象模型(1)
二.找出工具的關鍵目標
對工具而言,兼顧效率和體驗是不變的目標,但不同工具的側重點可能有所不同,例如:
-
不直面使用者的底層工具:如構建模組、釋出模組等,效率相對重要一些,體驗次之
-
使用者直接與之互動的上層工具:如偵錯程式、釋出平臺等,更關注體驗,雖然效率也同樣重要
另一方面,工具總是為解決問題而生的,選用一個工具不外乎 4 種情況:
-
無可替代:唯一能夠解決目標問題的工具,沒得選,所以不論體驗、效率如何都不得不用
-
體驗最好:同類工具中使用體驗最好的一款,精準滿足需求,效率上和其它工具沒有明顯差距
-
效率最高:同類工具中效率最高的一款,迅速解決問題,明顯比其它工具快很多
-
體驗還不錯,效率也過得去:同類工具中在體驗和效率上取得平衡的一款,沒有太明顯的缺點,勉強能解決問題,用起來也不很麻煩
除去沒得選的情況,在效率沒有明顯差距時體驗更好的工具更受歡迎,效率能拉開明顯差距的工具如果沒有體驗硬傷一定會很受歡迎,這毫無疑問
然而,需要注意的是,如果體驗、效率方面的最優選項都有明顯的缺點,此時使用者更傾向於選擇一個不上不下的替代工具,而不是長期忍受其缺點:
啊。。是啊。。我不就是不想用 xxx 了
三.建立效能價值的度量模型
確定了關鍵目標之後,接下來的問題是如何量化效率和體驗,使之可衡量
衡量效率
類比工作效率的計算公式:
工作效率 = 工作總量 / 工作時間
工具效率可以定義為:
工具效率 = 問題規模 / 操作時間
問題規模仍然不是一個可量化的東西,進一步具象為時間成本:
工具效率 = (不用該工具解決所需的)時間成本 / (用該工具解決所需的)時間成本
那麼,有 3 種情況:
-
比值等於 1:用不用工具都一樣,工具沒有帶來效率提升
-
比值小於 1:還不如不用,因為用工具花的時間反而更多了
-
比值大於 1:用工具效率更高,數值越大,工具帶來的效率提升越明顯
衡量體驗
體驗不像效率一樣能夠通過統一的規則計算得出準確的數值,但也可以建立度量模型:
體驗即產品與使用者心智的重合程度(上圖心智一行),工具的功能和效能越貼近使用者的心理預期,體驗評價越高,體現在:
-
易用程度:從使用者心智向產品功能做對映,極致的易用是符合直覺,上手即用
-
穩定程度:從使用者心智向產品效能做對映,極致的穩定是完全信任,從不懷疑工具會出問題
即:
工具體驗 = 易用程度 * 穩定程度
也就是說,工具體驗是易用程度與穩定程度的乘積,只要稍有不好用或不穩定的缺點,體驗就會急劇下降
衡量效能價值
綜上所述,工具帶來的效能價值體現在 2 方面:
效能價值 = 效率價值 * 體驗因子
其中:
-
效率價值:降低使用者解決問題的時間成本,讓使用者更快速地解決問題
-
體驗因子:減少使用者的心智負擔,讓使用者更輕鬆愉悅地解決問題
二者相輔相成,體驗升級可能會提高效率,效率提升同樣也可能帶動體驗
因此,在體驗有保障的前提下,可以簡單地將效率作為效能價值的衡量標準,用一個準確的比值即可量化效能價值
四.選擇合適的資料指標
有了度量模型後,接著將具體的資料指標框進來
時間成本
基於以上分析,(體驗有保障時)效率收益的直接體現是工具所能節省的時間成本,與使用者量、使用頻次、使用時長等密切相關:
-
使用者量:累計使用者數、日/周/月 UV、日新增使用者數、日/周/月活躍使用者數(期間操作過核心功能的使用者數)
-
使用頻次:日/周/月 PV、功能使用率、核心操作次數、日均使用次數
-
使用時長:核心操作時長
P.S.功能使用率 = 使用某項功能的使用者數 / 總使用者數
,也能用來衡量不同功能對整體的貢獻
例如:
每天節省的時間成本 = 日使用者量 * 日功能使用率 * (不用該工具解決所需的時間 - 操作時間) = 100 * 35% * (1.5人日 - 0.8人日) = 24.5人日
此外,另一些側面資料也能體現效能價值:
-
使用者分佈:目標使用者數、使用者滲透率、各屬性使用者佔比、各屬性使用者滲透率
-
產出結果分佈:數量、重要程度、平均時間、各屬性產出結果佔比
P.S.使用者滲透率可簡單理解為使用者滲透率 = 現有使用者數 / 目標使用者數
例如:
覆蓋2/3的目標使用者,包括60%以上的一線開發人員、10%的測試人員 覆蓋8大產品線,半年支援40多個專案,包括效果極好的xx重點專案
易用程度
易用程度同樣也能通過一些數值來衡量:
-
使用者滿意度:使用者投訴與諮詢數/率、抽樣調查滿意度
-
操作難度:誤操作次數
-
心智負擔:幫助文件字數、注意事項條數
此外,一種產品經理常用的需求採集方法是觀察真實使用者的實際操作,將使用者遇到的挫折記錄下來,過程中不要打斷和急於提供幫助,往往能夠精準地發現一些使用問題
穩定程度
穩定程度可以從異常指標反映出來,例如:
-
crash 率
-
bug 數
-
操作失敗次數
其中,操作失敗是個模糊的定義,包括執行時錯誤、服務介面錯誤、搜尋不到結果等等,穩定性問題極易破壞使用體驗,進而大幅拉低效能,比如工具總崩潰,幾乎沒法用的話,效能價值就無從說起
五.有資料就用資料說話
之所以要建立可量化的資料指標,是為了用資料說話,驗證此前的一些假設,為工具的迭代、優化提供指導方向:
-
新功能是否得到了使用者的支援?功能使用率如何?宣傳渠道有沒有效果?
-
使用者操作是否順暢,所花費的實際時間與預期是否存在較大差距?
-
產出結果如何,ROI 是否足夠高,有沒有必要繼續做下去?
用 PM 的成熟方法論做事
參考資料
-
工具類產品的體驗度量四象模型(1)
-
萬字乾貨總結:最全的運營資料指標解讀
-
產品指標體系如何搭建