1. 程式人生 > >如何衡量前端基建的效能價值?

如何衡量前端基建的效能價值?

寫在前面

不同於商用產品,對內的工具/平臺大多沒有明確的直接業務價值,需要通過可量化的指標來衡量其效能價值,本文試圖建立一個可直接套用的資料指標框架,讓內部工具/平臺的價值也能看得見、說得清

 

一.分析生產活動的核心要素

從面向物件的角度來看,前端工程是物件和物件間的關係及互動行為

(摘自面向物件視角下的前端工程體系)

其中,物件分為主體物件與客體物件兩類:

物件,是對前端應用生產活動中各個實體的抽象,其中一些物件是主體(比如充當不同角色的人),另一些是客體(比如工具、平臺等各種具體事物),物件之間通過一系列互動行為來完成前端應用的開發和交付

即人與工具,是直接關係到生產力的核心要素:

 

 

工具越強大、越智慧,人的操作效率越高、心智負擔越小

P.S.心智指的是人認識事物的方法和習慣,會影響使用者如何認知周遭世界以及如何採取行動,取決於對應角色的認知情況、記憶、主動獲取教育與被動教育的渠道和方法、以及基於角色的競品使用習慣等,具體見工具類產品的體驗度量四象模型(1)

 

二.找出工具的關鍵目標

對工具而言,兼顧效率和體驗是不變的目標,但不同工具的側重點可能有所不同,例如:

  • 不直面使用者的底層工具:如構建模組、釋出模組等,效率相對重要一些,體驗次之

  • 使用者直接與之互動的上層工具:如偵錯程式、釋出平臺等,更關注體驗,雖然效率也同樣重要

另一方面,工具總是為解決問題而生的,選用一個工具不外乎 4 種情況:

  • 無可替代:唯一能夠解決目標問題的工具,沒得選,所以不論體驗、效率如何都不得不用

  • 體驗最好:同類工具中使用體驗最好的一款,精準滿足需求,效率上和其它工具沒有明顯差距

  • 效率最高:同類工具中效率最高的一款,迅速解決問題,明顯比其它工具快很多

  • 體驗還不錯,效率也過得去:同類工具中在體驗和效率上取得平衡的一款,沒有太明顯的缺點,勉強能解決問題,用起來也不很麻煩

除去沒得選的情況,在效率沒有明顯差距時體驗更好的工具更受歡迎,效率能拉開明顯差距的工具如果沒有體驗硬傷一定會很受歡迎,這毫無疑問

然而,需要注意的是,如果體驗、效率方面的最優選項都有明顯的缺點,此時使用者更傾向於選擇一個不上不下的替代工具,而不是長期忍受其缺點:

啊。。是啊。。我不就是不想用 xxx 了

 

三.建立效能價值的度量模型

確定了關鍵目標之後,接下來的問題是如何量化效率和體驗,使之可衡量

 

衡量效率

類比工作效率的計算公式:

工作效率 = 工作總量 / 工作時間

工具效率可以定義為:

工具效率 = 問題規模 / 操作時間

問題規模仍然不是一個可量化的東西,進一步具象為時間成本:

工具效率 = (不用該工具解決所需的)時間成本 / (用該工具解決所需的)時間成本

那麼,有 3 種情況:

  • 比值等於 1:用不用工具都一樣,工具沒有帶來效率提升

  • 比值小於 1:還不如不用,因為用工具花的時間反而更多了

  • 比值大於 1:用工具效率更高,數值越大,工具帶來的效率提升越明顯

 

衡量體驗

體驗不像效率一樣能夠通過統一的規則計算得出準確的數值,但也可以建立度量模型:

 

 

體驗即產品與使用者心智的重合程度(上圖心智一行),工具的功能和效能越貼近使用者的心理預期,體驗評價越高,體現在:

  • 易用程度:從使用者心智向產品功能做對映,極致的易用是符合直覺,上手即用

  • 穩定程度:從使用者心智向產品效能做對映,極致的穩定是完全信任,從不懷疑工具會出問題

即:

工具體驗 = 易用程度 * 穩定程度

也就是說,工具體驗是易用程度與穩定程度的乘積,只要稍有不好用或不穩定的缺點,體驗就會急劇下降

 

衡量效能價值

綜上所述,工具帶來的效能價值體現在 2 方面:

效能價值 = 效率價值 * 體驗因子

其中:

  • 效率價值:降低使用者解決問題的時間成本,讓使用者更快速地解決問題

  • 體驗因子:減少使用者的心智負擔,讓使用者更輕鬆愉悅地解決問題

二者相輔相成,體驗升級可能會提高效率,效率提升同樣也可能帶動體驗

因此,在體驗有保障的前提下,可以簡單地將效率作為效能價值的衡量標準,用一個準確的比值即可量化效能價值

 

四.選擇合適的資料指標

有了度量模型後,接著將具體的資料指標框進來

 

時間成本

基於以上分析,(體驗有保障時)效率收益的直接體現是工具所能節省的時間成本,與使用者量、使用頻次、使用時長等密切相關:

  • 使用者量:累計使用者數、日/周/月 UV、日新增使用者數、日/周/月活躍使用者數(期間操作過核心功能的使用者數)

  • 使用頻次:日/周/月 PV、功能使用率、核心操作次數、日均使用次數

  • 使用時長:核心操作時長

P.S.功能使用率 = 使用某項功能的使用者數 / 總使用者數,也能用來衡量不同功能對整體的貢獻

例如:

每天節省的時間成本 = 日使用者量 * 日功能使用率 * (不用該工具解決所需的時間 - 操作時間)
  = 100 * 35% * (1.5人日 - 0.8人日)
  = 24.5人日

此外,另一些側面資料也能體現效能價值:

  • 使用者分佈:目標使用者數、使用者滲透率、各屬性使用者佔比、各屬性使用者滲透率

  • 產出結果分佈:數量、重要程度、平均時間、各屬性產出結果佔比

P.S.使用者滲透率可簡單理解為使用者滲透率 = 現有使用者數 / 目標使用者數

例如:

覆蓋2/3的目標使用者,包括60%以上的一線開發人員、10%的測試人員
覆蓋8大產品線,半年支援40多個專案,包括效果極好的xx重點專案

 

易用程度

易用程度同樣也能通過一些數值來衡量:

  • 使用者滿意度:使用者投訴與諮詢數/率、抽樣調查滿意度

  • 操作難度:誤操作次數

  • 心智負擔:幫助文件字數、注意事項條數

此外,一種產品經理常用的需求採集方法是觀察真實使用者的實際操作,將使用者遇到的挫折記錄下來,過程中不要打斷和急於提供幫助,往往能夠精準地發現一些使用問題

 

穩定程度

穩定程度可以從異常指標反映出來,例如:

  • crash 率

  • bug 數

  • 操作失敗次數

其中,操作失敗是個模糊的定義,包括執行時錯誤、服務介面錯誤、搜尋不到結果等等,穩定性問題極易破壞使用體驗,進而大幅拉低效能,比如工具總崩潰,幾乎沒法用的話,效能價值就無從說起

 

五.有資料就用資料說話

之所以要建立可量化的資料指標,是為了用資料說話,驗證此前的一些假設,為工具的迭代、優化提供指導方向:

  • 新功能是否得到了使用者的支援?功能使用率如何?宣傳渠道有沒有效果?

  • 使用者操作是否順暢,所花費的實際時間與預期是否存在較大差距?

  • 產出結果如何,ROI 是否足夠高,有沒有必要繼續做下去?

用 PM 的成熟方法論做事

 

參考資料

  • 工具類產品的體驗度量四象模型(1)

  • 萬字乾貨總結:最全的運營資料指標解讀

  • 產品指標體系如何搭建