問對問題，再做A/B測試
如果你是一個數據驅動的人，你很可能不會想到什麼就馬上去做，而是傾向於先做一個A/B測試，把勝出的版本投入市場。這確實是個好方法。但假如一開始你就選擇了錯誤的測試方向呢？為了避免在產品迭代上浪費金錢和時間，在下一次測試前，不妨先回答一下本文提出的兩個問題。
▨ A/B測試
A/B測試是一個隨機試驗。在保持其他因素不變的基礎上，對單一特性的兩個版本進行比較。這個特性可能是一個新按鈕，或是不同的字體，又或者是營銷信息的改變，等等。客戶隨機分成兩組，每一組看到不同的版本。收集用戶的反饋，比較兩組對不同版本的看法，最終正式運行那個能達成你的目標的版本。通常版本A是當前版本（對照組），版本B是帶有新特性的版本（實驗組）。
▨ 一次成功的A /B測試需要具備三個要素：
1. 一個要實現的目標和相應的指標來衡量變化。
2. 版本A和版本B的分配是隨機的。
3. 控制其他變量不變，只測量一個特性。
現在我們已經知道了A/B測試的定義，讓我們來看看第一個問題。
問題1：你爬的是正確的山嗎？
換句話說，A/B測試是實現你目標的正確方法嗎?
A/B測試的本質是產品優化。假設你在登山，想要嘗試不同的路線，來看哪一條能更快登頂。但是，如果一開始你就選錯了山峰呢？你爬的實際上只是一座小山丘。你被困在一個有限的區域中，浪費很多的時間，只能找到一個次優的解決方案。
![[產品]不是所有的產品都適合A/B測試](http://p2.ttnews.xyz/loading.gif)
Marissa Mayer在擔任谷歌副總裁時，曾就40種深淺不同的藍色進行了多次的A/B測試，以找到最適合谷歌鏈接的顏色。A/B測試非常適用於這類任務，因為藍色只有這麼多種，而且谷歌清楚地知道他們想要的是什麼：找到一種能得到最多點擊量的顏色。
這種情形無疑是適合A/B測試的。但如果對每個問題都用相同的處理方法，你會發現自己沉迷於成功爬上小山丘所帶來的興奮感，卻錯過了登山過程中抬頭可見的北極星。
舉個例子：一個DVD出租網站想要測試不同的登錄頁面設計。假設他們真的找到了完美的設計，又能帶來多少收入增長呢？難道是因為設計不夠精美所以缺少客戶嗎？還是因為比起租DVD，人們更希望在Netflix上觀看節目？如果整個行業都在更新換代，而你的商業模式已經過時了，那麼A/B測試是無法告訴你失敗的真正原因的。
如何找到正確的山峰呢？
1. 記住你要去的地方。
我們都喜歡掛在較低的枝條上的果實，它們太誘人了，特別是在你迷失方向、需要快速發展業務的時候。但它們是否與你的產品目標一致呢?
輕鬆的勝利會把你帶入多個方向。但10個方向上得到10個簡單的勝利會很快耗盡你的資源，你更應該做的是在正確的方向上邁出一小步——專注最重要的目標，進行有方向感的迭代。
2. 與真正的客戶交談。
有時候你需要忘記大數據。
我們被困在大數據的世界裡，卻忘記了數據不過是顧客聲音的濃縮而已。與一些真正的客戶交談未必能幫助你擴大業務規模，但會讓你更接近真實的人類需求，它可以幫助你發現那些真正有價值的問題。
你也許會擔心：如果在一小群人中得到的答案過於具體，不能推廣到更大的客戶群中，該怎麼辦？好消息是，世人在很多方面都很相似，所以一個人的奮鬥可以引起世界上很多人的共鳴。在用戶研究中，這被視為小數據的力量。
3. 在解決問題之前找到真正的瓶頸。
A/B測試只會給客戶有限的選擇。如果真正的解決方案既不是A也不是B，那麼這兩種方案客戶一個也不會喜歡，而你最終推出的只是他們不那麼討厭的一種，真正的問題依然得不到解決。
如果你正在利用A/B測試來修復某些東西，請確保你已經找到了造成問題的根本原因。
舉個例子，你發現付款頁面上的放棄率增加了，希望通過改進頁面上的內容來修復這個問題。但是，放棄率的升高可能是因為主頁出了問題，或者是太多的彈出窗口分散了客戶的注意力，或者是頁面本身加載時間太長。它可能不需要進行測試來改進諸如“購買”按鈕或付款頁面上的消息之類的功能——問題可能在客戶看到內容之前就出現了！
問題2：當你爬山時，風景會改變嗎？
換句話說，你有沒有控制其他因素來減少測試中的干擾項？
讓我們把你實驗中的所有因素都稱為“環境”。當你在測試一個按鍵的兩種版本時，其他的因素就包括瀏覽器、設備類型、地區、月份、促銷活動和競爭對手的活動等。
下圖就是一個類比：你想比較路線A和路線B哪條路線可以讓你更快登頂，唯一想測試的不同之處在於路徑。然而，在你的測試期間，這兩條路徑都有不同的風力、降雨、空氣和植被模式。因為這種環境和氣候在測試階段之外的其他季節都可能會發生變化，這就使得測試結果在一年中的其他時間都是沒有意義的。
如果在你控制變量的實驗中，其他的因素也發生了改變，那你就相當於是在拿蘋果和橘子做比較。
▨ 如何管理不斷變化的環境
環境有兩種類型:
● 你可以控制的事情稱之為內部環境。比如公司的營銷活動、程序代碼更改、產品規劃等。
● 你無法控制的事情稱之為外部環境。比如季節變化、行業趨勢、競爭對手、客戶行為等。
聰明的人控制他們所能控制的東西，知道他們所能控制的東西和不能控制的東西之間的區別。
▨
注意兩種常見的內部環境變化● 營銷活動。人們會受到營銷活動的影響，導致你測試的結果失效。改善的信號可能會被誇大，或者在營銷推廣中丟失。所以，如果公司正進行推廣活動，那就把你的實驗推遲到活動結束後。
● 產品的變化。你不能在測試一個新產品圖像的效果的同時，又在每個頁面的頂部推出一個新的橫幅廣告。橫幅會消耗客戶的注意力，你測試的產品圖像可能就無法獲取足夠的流量。當你分析測試的結果時，也無法知道是你的新產品圖像還是橫幅+產品圖像的組合驅動了改變。
▨ 如何控制內部環境
● 測試特性時，確保其他因素不變。如果你想測試多個特性，請與你的團隊進行溝通，依序進行。
● 與其他團隊溝通，以確保他們沒有測試競爭特性或更改任何特性。
你們應該有一個共享的文檔來核對彼此的測試時間表。當然，當多個因素髮生變化時，你可以使用多變量回歸來分析測試結果，但可能會有更多的干擾項出現。所以，不要貪心，一次只測試一個特性，除非你是一個專家。請記住，在正確的方向上邁出一小步比漫無目的地大踏步要好。
▨ 外部環境
現在你已經確定你正在測試的功能是網站上唯一不同的東西，讓我們看看你無法控制的兩種外部環境。
1. “可以調整”的外部環境：季節性和趨勢
● 季節性: 這是一種不斷重複的模式。季節效應包括春夏秋冬、返校、節假日等帶來的影響。
● 趨勢：會隨著時間的推移而變化，但並不是週期性變化，也不一定是線性的。
季節性和趨勢的影響不僅僅是簡單的乘數效應；它們對測試的影響可以表現出不同的結果。例如，你的功能可能在4月份沒有任何影響，但它在6月份讓銷售額提高了10%，而在8月份將產生5%的負面影響。
● 如何把控:
建立時間序列迴歸模型來調整季節效應和趨勢。如果沒有足夠的數據來構建時間序列模型，則可以收集行業的歷史數據或產品過去的性能作為基準。
2. “無法調整”的外部環境：競爭對手、客戶行為和行業變化
競爭對手可能會推出一個新功能，與你正在測試的功能直接競爭；你的客戶可能會清除瀏覽器cookies或更換瀏覽器；你所在的行業正在經歷類似從實體到數字化、從石油天然氣到電力、從勞動密集型到自動化的轉變，你的測試結果則可能會被這種轉變“汙染”。
▨ 該怎麼做：
在這種情況下，你可以用模擬數據來估計外部影響的範圍，並儘可能地評估風險，做好準備。
最後請記住，世上可能不會有一座完美的山或一個完美的靜態環境，但你應該檢查你的選項，並選擇最靠近目標的一系列選項。按照本文中的提示執行成功的A/B測試。
閱讀更多 壹點方圓諮詢 的文章
