本文作者分享了自己從事產品經理三年以來做AB Test的相關經驗。在自我總結的同時，期待可以提高自己。
入行三年，回顧自己做過的四五十個AB Test，有成功也有失敗，有疑惑也有感嘆。剛開始接觸AB Test理論的時候，心想這真的是產品的一劑靈丹妙藥啊，就像互聯網有一句話，“當產品想不清楚的時候，就做AB吧！”，但它真的有這麼靈嗎？它真的能拯救你的產品於水火嗎？讓我們一起揭開AB Test的靚麗面紗。
一、當我們說起AB Test，我們在說什麼
AB Test實際上是一種假設性驗證，是一種很科學的方法論。通過設置只有一個變量的實驗，在兩組特徵均分的用戶群中放置一段時間，最終分析由這個變量帶來的數據浮動。
與其互相撕逼，不如讓數據說話。
舉個例子：審美是一件非常複雜的事情，2017年，團隊的設計師們曾經用AB Test的邏輯不斷測試，尋找到了點擊率更優的Banner樣式，把審美這件事進行量化。一方面，這次的AB確實讓我們在能想到的幾種設計樣式中找尋到了最優解，減少設計師和運營平時的相互扯皮，提升團隊效率；但另一方面，也給大家帶來了新的思考，市場會變，審美會變，現在的最優解在未來真的適用嗎？
我們現在AB到的所有方案，包含了所有可能的形式嗎？會有更好的形式嗎？彷彿小熊摘玉米，可能你能看到的，就是某個空間某個時間內的最大的玉米，而後面更大的玉米，隱藏在你的下一次判斷中。真的要不斷依賴AB去尋找這個最大的玉米嗎？
實際上，AB Test解決是的決策的準確性和成本之間的平衡問題。決策的準確性是指你能否有看到周圍更大的玉米的能力。這決定著，投入產出比的天花板。判斷的成本是指這個相互PK尋找更大的玉米的過程是有成本的，無論是產品設計、開發、數據分析、溝通成本，還有最重要的時間成本，都會讓整個戰線拉的非常長。如果產品每次都可以以較為準確的眼光迅速發現周圍比較大的玉米，那麼實際上是不需要AB Test提供這個PK的過程的。而判斷的準確性。仍然是決定這場戰爭的核心。
二、AB Test的常見誤區
1. 想不清楚就做AB？你只是把困境後移了
剛剛接觸AB的時候，大家會覺得這是一劑救命稻草。因為是拍照類的APP，拍照效果就是我們的核心，有時候作出兩種效果的方向，但產品和效果設計師暫時想不清楚，哪一種效果用戶會更喜歡呢？於是把一堆自拍效果同時上線AB。
我做過最多的一次AB，是有56個實驗組，把各種效果參數拆開排列組合，完全以數據結論為導向來設置實驗。最後上線之後，數據有好有壞，用戶反饋也一大堆，然後再根據數據和用戶反饋去拆解，為什麼實驗組A好，為什麼實驗組B不好；為什麼年齡大一點大用戶會吐槽效果1，年齡小一點大用戶會吐槽效果2。
這就是想不清楚實驗目的的AB最終會帶來的困境。所以說，還是要基於產品核心能力和市場，有最起碼的判斷和假設。再去用AB去驗證這個假設。
2. 指標找錯，一切全費
每個產品都有自己的北極星指標。所謂北極星指標，就是一旦這個指標變動，產品的戰略目標指標也會產生強因果關係的變動。在尋找北極星指標的過程中，我們探索過很多次，最終把核心業務的保存數定為北極星指標，在實行了一年的週期之後，還是發現這個指標找錯了。因為後面我們發現當保存數瘋漲的時候，戰略目標DAU或者收入並沒有因此而增長。這意味著，之前所有AB Test的結論都站不住腳，換句話說，做了一年的“無效AB”，浪費了無法去估計的資源成本。所以可見，指標的尋找是多麼重要。
3. AB的結果是好的，一全量並沒有什麼卵用？
我們之前做過的很多AB Test都有這個問題，做了很多比較正向且可信的測試，但全量之後，彷彿一粒沙子融入了大海，大盤並沒有什麼波動。分析起來，本質上是一種增長乏力的表現。這種乏力分為兩種情況：
- 每次AB帶來的變動很小，最終反應在結果上數據的波動非常小，即使正向，因為其能帶來的改變天花板非常低。
- 做撬動市場的新功能，但最終沒能打成戰略目標的提升。
這時候，市場在提醒你，也許應該換一種思路來做產品。
4. 一定要做的改變，需要做AB嗎？
業界，我見過上新一個功能，就必須做AB Test的產品。如果數據不好，這個功能整個都不上線。其實我個人是不太建議這樣的方法。對於那些戰略新功能，做好前期的市場調研、需求挖掘更重要。甚至有了功能之後不上線，利用可行性測試讓目標用戶試用，不斷優化並最終上線。
一定要做的改變也不限於想要撬動市場的新功能，還可能是接下來的戰略目標部署等。想清楚之後，如果這些是一定要做的，那麼不要讓AB阻擋你改變的腳步。
三、如何真正用好AB Test
1. 忘記它，以不做AB Test為己任
任據App Sumo評估，只有25％的AB測試產生了有意義的結果。而一次完整的AB測試周期可能就需要幾周的時間。有人經常問我：AB能來帶增長嗎？答案是，並不能。它只是產品的一種輔助工具，並且要謹慎試用。一個依賴AB Test的產品，並不真正理解它的用戶，它的產品和它的方向。有的時候，AB一時的數據雖然是負向的，但如果產品能判斷這一步的修改對未來戰略目標的意義，數據也就變得不那麼重要了。
每次我們產品內部在討論需求的時候，有人在提AB，我都會詢問（1）AB的目的是什麼？（2）你覺得哪個方案會更好？（3）你是否做過市場分析和用戶調研？這三個問題能夠有效幫產品梳理需求的意義。如果僅僅以“我拿不準哪個方案會更好”來進行AB，那麼最終你的團隊會陷入無限AB無限浪費資源的死循環。所以警惕你的團隊始終在用AB的思路前進，要讓每個產品都培養“以不做AB Test”為己任的意識。
2. 尋找屬於你的業務的AB Test規律
不同類型的AB Test是有不同的策略的。針對我們做過的所有AB Test，我做了這個一個梳理：首先按照有沒有創造新價值，可以把AB分為增長類和核心類。
- 增長類的AB分為兩類，首先是視覺類的：一般是改一個icon的顏色、改一個UI的排布樣式。另一類是路徑類：減少或者改變用戶的路徑。這一類的增長天花板比較低，不需要給它過高的預期，但往往投入產出比很高。如果項目組有餘力，可以簡單快速AB。
- 核心類的AB也分為兩類。一類是對已經上線的新功能進行修改/優化。這一類的AB經常會影響到老用戶的使用體驗，特別是對於產品的核心功能，一定要慎重修改。比如微信的聊天主界面，從一開始上線到現在，也不會做過多的修改。另一類是完全拓展的新的功能，提供了新的價值。這種建議多結合市場進行判斷，大膽上線。
這只是針對我們自己做過的實驗進行的總結，並不保證適用於所有的行業。也許你的行業也有類似的規律可循，不妨試試吧！
最後，我想談談“產品感”這件事情。對於產品經理來說，產品感仍然是我們最核心的能力和價值。AB是一種很理性的增長思路，它往往顯得沒有那麼有“人情味”，你無法決定它的答案，但你可以決定如何使用它。一旦開始使用它，預示著團隊以數據目標為導向的決心，但千萬不要被AB的結論帶著走，忘記了產品的初心。
作者：小梅梅，美圖公司產品經理
本文由 @小梅梅 原創發佈於人人都是產品經理。未經許可，禁止轉載
題圖來自 Unsplash ，基於 CC0 協議
