基本介紹
- 中文名：A/B測試
- 外文名：A/B Testing
- 別名：分組測試，分桶測試
- 英文名：Split Testing, Bucketing Tests
實施作用,套用場景,實施步驟,實施關鍵,實用經驗,
實施作用
A/B測試的作用
- 消除客戶體驗（UX）設計中不同意見的紛爭，根據實際效果確定最佳方案；
- 通過對比試驗，找到問題的真正原因，提高產品設計和運營水平；
- 建立數據驅動、持續不斷最佳化的閉環過程；
- 通過A/B測試，降低新產品或新特性的發布風險，為產品創新提供保障。
A/B測試與一般工程測試的區別
A/B測試，用於驗證用戶體驗、市場推廣等是否正確，而一般的工程測試主要用於驗證軟硬體是否符合設計預期，因此AB測試與一般的工程測試分屬於不同的領域。
套用場景
1、體驗最佳化
用戶體驗永遠是賣家最關心的事情之一，但隨意改動已經完善的落地頁是一件很冒險的事情，因此很多賣家會通過AB測試進行決策。常見的是在保證其他條件一致的情況下，針對某一單一的元素進行AB兩個版本的設計，並進行測試和數據收集，最終選定數據結果更好的版本。
2、轉化率最佳化
通常影響電商銷售轉化率的因素有產品標題、描述、圖片、表單、定價等，通過測試這些相關因素的影響，不僅可以直接提高銷售轉化率，長期進行也能提高用戶體驗。
3、廣告最佳化
廣告最佳化可能是AB測試最常見的套用場景了，同時結果也是最直接的，行銷人員可以通過AB測試的方法了解哪個版本的廣告更受用戶的青睞，哪些步驟怎么做才能更吸引用戶。
實施步驟
1.現狀分析：分析業務數據，確定當前最關鍵的改進點。
2.假設建立：根據現狀分析作出最佳化改進的假設，提出最佳化建議。
3.設定目標：設定主要目標，用來衡量各最佳化版本的優劣；設定輔助目標，用來評估最佳化版本對其他方面的影響。
4.界面設計：製作2（或多）個最佳化版本的設計原型。
5.技術實現：
- 網站、App(Android/iOS) 、微信小程式和伺服器端需要添加各類A/B測試平台提供的SDK代碼，然後製作各個最佳化版本。
- Web平台、Android和iOS APP需要添加各類A/B測試平台提供的SDK代碼，然後通過編輯器製作各個最佳化版本。
- 通過編輯器設定目標，如果編輯器不能實現，則需要手工編寫代碼。
- 使用各類A/B測試平台分配流量。初始階段，最佳化方案的流量設定可以較小，根據情況逐漸增加流量。
6.採集數據：通過各大平台自身的數據收集系統自動採集數據。
7.分析A/B測試結果：統計顯著性達到95%或以上並且維持一段時間，實驗可以結束；如果在95%以下，則可能需要延長測試時間；如果很長時間統計顯著性不能達到95%甚至90%，則需要決定是否中止試驗。
實施關鍵
A/B測試實施的關鍵問題
在App和Web開發階段，程式中添加用於製作A/B版本和採集數據的代碼由此引起的開發和QA的工作量很大，ROI（return on investment）很低。AB測試的場景受到限制，App和Web發布後，無法再增加和更改AB測試場景。額外的A/B測試代碼，增加了App和Web後期維護成本。因此，提高效率是A/B測試領域的一個關鍵問題。
如何高效實施A/B測試？
在App和Web上線後，通過可視化編輯器製作A/B測試版本、設定採集指標，即時發布AB測試版本。
- AB測試的場景數量是無限的；
- 在App和Web發布上線後，根據實際情況，設計AB測試場景，更有針對性，更有效；
- 無需增加額外的AB測試代碼，對App和Web的開發、QA和維護的影響最小。
實用經驗
1.從簡單開始：可以先在Web前端上開始實施。Web前端可以比較容易的通過可視化編輯器製作多個版本和設定目標（指標），因此實施A/B測試的工作量比較小，難度比較低。在Web前端獲得經驗後，再推廣到App和伺服器端。
2.隔離變數：為了讓測試結果有用，應該每個試驗只測一個變數（變化）。如果一個試驗測試多個變數（比如價格和顏色），就不知道是哪個變數對改進起了作用。
3.儘可能頻繁、快速進行A/B測試：要降低A/B測試的代價，避免為了A/B測試做很多代碼修改，儘量將A/B測試與產品的工程發布解耦，儘量不占用太多工程部門（程式設計師、QA等）的工作量。
4.要有一個“停止開關”：不是每個A/B測試都會得到正向的結果，有些試驗可能失敗，要確保有一個“開關”能夠停止失敗的試驗，而不是讓工程部門發布一個新版本。
5.檢查縱向影響：誇大虛假的CTA(Call To Action)可以使某個A/B測試的結果正向，但長期來看，客戶留存和銷售額將會下降。因此，時刻要清楚我們追求的是什麼，事先就要注意到可能會受到負面影響的指標。
6.先“特區”再推廣：先在一兩個產品上嘗試，獲得經驗後，推廣到其他產品中。
