A/B 測試，簡單來說，就是為同一個目標制定兩個方案（比如兩個頁面），讓一部分用戶使用 A 方案，另一部分用戶使用 B 方案，記錄下用戶的使用情況，看哪個方案更符合設計。那我們要如何通過 AB Testing 提升產品數據？
產品或者設計師在做設計方案時，會有一套方法論來製作多個方案，經過評審之後一般都會得出一個平衡了用戶體驗和業務目標的方案。但往往也存在一種情況：A方案和B方案各有優劣，實在無法主觀判斷兩個方案上線之後數據如何。
如果AB方案的實現成本不是很高，就可以使用AB Testing來解決。依據上線之後的數據表現，最終上線數據更好的方案。
1. 原理
數理統計學中有一個概念叫“假設檢驗(Hypothesis Testing）”，其基本的原理是對整體特徵做出某種假設，然後通過抽樣研究的統計推理，對此假設應該被拒絕還是接受作出推斷。
在假設檢驗中，存在原假設和備擇假設，以下圖為例：
改變按鈕樣式的AB Testing
原假設指改變按鈕樣式會帶來轉化率的提升，備擇假設是改變按鈕樣式不會帶來轉化率的提升。
原假設和備擇假設有且只能有一個為真。
2. 背景
Google是最早將AB Testing應用到互聯網產品的公司，谷歌工程師在2000年進行了他們的第一次AB測試，試圖確定在搜索引擎結果頁面上顯示的最佳結果數量。後來AB測試不斷髮展，但基礎和基本原則通常保持不變，2011年，谷歌首次測試後11年，谷歌進行了7,000多次不同的AB測試。
目前像Facebook、LinkedIn等公司都有專門的增長團隊來做AB Testing的實驗（增長團隊的核心就是不斷的進行AB Testing來提升產品數據），並且團隊負責人直接向CEO彙報，最近兩年國內不少公司也越來越重視數據增長。
3. AB Testing越來越被重視的原因
為什麼數據增長會在互聯網行業興起，我認為有兩點原因：
- 一是互聯網產品的表現形式趨於成熟，目前市場上主流的智能手機操作系統只有iOS和Android，它們在交互和視覺層面越來越規範和統一；
- 二是互聯網產品設計的方法論逐漸成熟，互聯網公司產品設計流程的分工已經很細，產品經理、交互設計師、視覺設計師，而且每個崗位都有成熟的方法論。
由於這兩點原因，導致大家做出來的東西在用戶體驗層面已經拉不開很大的差距，這時候如何在同質化產品中脫穎而出變得更加困難，其中通過科學的方法，採用認知心理學和統計學相關知識的AB Testing展現了它的威力，併為互聯網產品的數據增長帶來了新的動力。
4. 具體方法論：如何做實驗？
①提出想法，設定假設
得出假設的方法有很多，包括福格模型、頭腦風暴、經驗總結、行業借鑑、公司不同部門人員提出建議、用戶調研、數據分析。方法有很多，以後我們會詳細介紹。
②預估成本/設定優先級
有些實驗方案不僅涉及設計和開發成本，還需要額外的資金成本，像增加現金或優惠券獎勵來提升轉化率的實驗，這個時候需要對該類實驗經濟成本預估，並且結合ICE模型來設定優先級，決定哪個實驗先做，哪個實驗後做。
ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每項滿分為十分，ICE總分為三項的平均分，ICE分值越高，對應的優先級也越高。
③設計方案
決定了哪些實驗先做，哪些後做，接下來就要開始進入方案的設計階段了，有些簡單的實驗可能不需要經過設計階段，可以直接開發上線。主要跟交互設計師，根據第一步提出的假設，提出多種方案，最後選擇一到兩個方案進行AB testing。
著名的資訊公司Upworthy會對每篇即將上線的文章討論出25個標題，最終選擇2個標題進行A B testing。
④確定實驗人數和週期
關於計算實驗人數和週期，有很多工具網站可以使用，例如：Evanmiller網站。打開這個網站，你會發現有四個字段需要輸入：
- 一個是Baseline conversion rate，指原有的轉化率；
- 二是Minimum Detectable Effect，指預計會提升的百分比，另外兩個是β和α值，你只要記住設定這兩個值是為了保證實驗結果的準確性。一般β值會設定在5%/10%，α值會取1%~10%之間。
⑤安排開發與測試
這個大家太熟悉了，就不多說。
⑥分析實驗結果
在分析實驗結果的時候要特別注意兩點：
- 一要排除其他因素導致的數據變動，例如你的產品是受季節影響的話，實驗得出的數據要扣除季節對數據產生的影響；
- 二是確保關聯數據也有相應增長，例如你的實驗是要提升活動詳情頁到支付頁的轉化率，實驗結果顯示，轉化率從之前的5%提升到了6%，這相當於增長了20%。但是別高興太早，你要看看這增加的20%的用戶，有沒有成功進入下一步，也就是支付成功，很有可能本次實驗只是把用戶從活動詳情頁吸引到了支付頁，但是吸引來的用戶並沒有去真正下單。
⑦擴大實驗或失敗
分析完實驗結果後，如果判定實驗成功，接下來就擴大實驗範圍，把本次改進覆蓋所有用戶；如果實驗失敗，也不要灰心，畢竟AB Testing的成功率並不是很高，大膽的接受實驗失敗，並開始下一個實驗吧。
5. 注意事項
- 確保實驗的變量唯一；
- 確保試驗週期不能過長，一般控制在2到3周，最好不要超過一個月；
- 確保α和β值在合理的區間內，保證實驗的準確性；
- 分析實驗結果時，記得排除其他因素在實驗中的影響。
#專欄作家#
鄒志楠，微信公眾號：鄒志楠，人人都是產品經理專欄作家。用戶體驗設計師，專注於互聯網產品設計。
題圖來自Unsplash，基於CC0協議
閱讀更多 人人都是產品經理 的文章
