A/B測試與灰度發布
阿新 • • 發佈：2017-10-31
目的 目標 交互 交付 場景 範圍 識別 需要 積累
1、A/B測試與灰度發布的理論
產品是多維度的，設計體驗、交互體驗、系統質量、運營支持等等， 測試的目的是為了系統最終的交付，一套各方面都足夠好的系統，而不是文檔上定義的系統，系統是需要不斷進化的。 測試的質疑貫穿產品的設計到編碼到最終的運營過程，並最終促使產品的改善，周而復始。 符合互聯網思維敏捷的本質。2、A/B測試與灰度發布相關的一些術語
1.1 桶測試（Bucket Testing）：這個沒有什麽地方給出明確的定義，但是通常來說是國外用於測試遊泳池是否存在漏水行為的一種比較測試。即將一桶水放到泳池中，分別標明內外水位，放置一段時間後，如果外部水位明顯下降（超過XXX英寸），則證明水池漏水。這個和軟件測試沒有什麽直接關系，但是他是一種兩個方案之間的對比性測試，用於識別缺陷。 1.2 多變量測試（Multivariate Testing）：這個使用市場營銷的一個術語，通常用於在多個變量的復雜環境下，對營銷方案效果的比較技術。 1.3 A/B測試（A/B Testing）：Wikipedia的定義，“是Web設計（通常指用戶體驗）中用於區分兩種網頁設計對收益最大化目標（如點擊率）效果支撐程度的一種試驗手段”。主要用於比較兩種設計的優劣程度。桶測試（Bucket Test）、多變量測試（Multivariate Testing）是A/B測試的變體，因為可能涉及到多種場景的比較。A/B測試還用於市場營銷渠道的比較，這和定義是一致的，因為網頁就是一種營銷渠道。 1.4 灰度交付：“灰度發布是指在黑與白之間，能夠平滑過渡的一種發布方式。AB test就是一種灰度發布方式，讓一部用戶繼續用A，一部分用戶開始用B，如果用戶對B沒有什麽反對意見，那麽逐步擴大範圍，把所有用戶都遷移到B上面來。灰度發布可以保證整體系統的穩定，在初始灰度的時候就可以發現、調整問題，以保證其影響度。”3、A/B測試和灰度發布和傳統的測試的不同點
4、A/B測試與灰度發布的運用
3.1 推薦系統之間不同算法的比較，不同變量的比較 3.2 設計方案中不同方案的比較 3.3 設計調整，方案調整 3.4 故障控制 如果你系統需要優化一些你自己無法預測和控制的領域的時候。 試試A/B測試吧，有利於控制未來的風險數據是優化系統的重要依據 ，想要在哪方面做優化，就在哪方面積累數據。
轉自《http://blog.csdn.net/vshuang/article/details/42317693》
http://blog.csdn.net/aresiii/article/details/49125369
比較好的文章，分享下。
A/B測試與灰度發布