試想今天執行了一個PPC的A/B Testing，結果如下:
- A廣告 - 被1200個人看到，60人點擊，CTR= 5.0%
- B廣告 - 被1050個人看到，70人點擊，CTR= 6.67%
請問哪個廣告的表較好，未來應該提高哪個廣告的預算?
相較於A廣告，B廣告被更少的人看到卻被更多的人點擊，CTR比A高了1.67% (或者說B的CTR是A的1.334倍)。相信大多數的人都會不加思索地說B廣告的效益較高。
但是稍微有統計基礎的人，或是有注意到這篇文章標題的人，就會知道答案不是這麼簡單的哪個好哪個不好，除了CTR還應該要考慮的另一個大要素是: 顯著性。
顯著性 (Significance)
沒有甚麼數學/統計概念的人可以放心，這篇不會講到很深的概念，因為我也不會...希望哪天能完全搞懂以後再用簡單的語言完整解釋。
但是顯著性的概念還是非常重要，下面再舉另外一個比較極端的例子: 我要比較擲硬幣的結果。
- 穿紅衣服的時候: 丟了10次，出現人頭5次，出現人頭的機率50%
- 穿藍衣服的時候: 丟了9次，出現人頭6次，出現人頭的機率66.7%
相較於穿紅衣服，穿藍衣服時丟比較少次，卻得到更多次人頭，出現人頭的機率比穿紅衣服時高了16.7%(或者說穿藍衣服時擲出人頭的機率是穿紅衣服時的1.334倍)。所以得出結論穿藍衣服比較容易丟出人頭.....?
大部分的人應該都會感覺出第二個例子有那裡不對勁，其實用統計的觀點來看，第一個例子也是如此，只是在第二個例子我們有Common Sense告訴我們擲硬幣出現人頭的機率應該要是50%。
信心水準 (Confidence Level)
那麼第一個例子裡的A廣告和B廣告到底是誰比較好?
今天就算B廣告有500個人點，CTR超級高，一個很討厭的統計學家也不會跟你說B廣告"一定"比較好，他會說B"可能"比A好，只是他對這個"可能"的信心非常非常的高，且這個信心水準可能有個99.9999.....%。
如何回答才可以好像很會?
一般人會用95%當作分析比較時的信心水準，所以對文章一開始的例子最好的回答是:「在95%的信心水準下，B不一定比A好」，或者是「B可能比A好，但是我只有不到95%的信心水準」，後面再補一句:「如果繼續測試、impression更高(被更多人看到)，有大於5%的機率B的CTR就不會比A高了。」
樣本數 (Sample Size)
沒錯! 在擲硬幣的例子應該有人會想: "阿才丟10次，9次是有麼好下結論的啦"。這裡的10次9次跟第一個例子裡的1200, 1050都是樣本數，樣本數越多，硬幣丟越多次，出現人頭的頻率就要越接近50%。
硬幣例子裡多數人會想到樣本數不足的問題，但在第一個例子裡就不會有太多人去懷疑樣本數夠不夠。1200次和1050次好像很多，但是真的夠多嗎? 真的夠多到我有95%的信心水準說B就是比A好嗎?
如果下次再有兩個C、D廣告的A/B Testing
- C廣告 - 被12000個人看到，600人點擊，CTR= 5.0%
- D廣告 - 被10500個人看到，700人點擊，CTR= 6.67%
能夠肯定的告訴你的上司在95%信心水準下，D廣告有比C好嗎?
95%信心水準下...它夠好嗎?
檢測小工具
先聲明一下，如果要深入探究這個問題會需要非常強大的統計知識，可能有不同的信心水準，有不同的統計檢測方法等等，我雖然看了頗多文章試著了解但沒有辦法完全搞通，所以還是回到最最基本的用一些小工具幫助，如果求知若渴的想要了解背後的原理，可以自行去翻書籍找資料!
(*Google Sheets為了方便我開所有人都可以編輯，可能被前人動到就整個格式跑掉之類的，所以大家在試用的時候盡量小心點，如果格式跑掉可以跟我說，幾年幾個月後看到這篇文章的讀者歡迎下載上面的Excel檔!)
使用方法
第一個例子裡的A, B廣告，只要把數字輸入進去，就會在右下角的地方告訴你結果，這裡的NO代表在95% confidence level下，B(Treatment)的conversion rate並不顯著地比A(Control)好。
第二個擲硬幣的例子同樣也可以用這個表單算出試結果是否具有顯著性，答案當然是NO
最後的C, D廣告，在Control跟Treatment的樣本數和點擊率都多加一0以後，即使Conversion Rate (例子裡是CTR)還是一樣，結果卻是顯著的。
結語
這個觀念應該是很多在執行不管PPC或是SEO測試時都會遇到的問題，怎樣的文案有更好的點擊率，廣告放哪張圖比較吸引人...等等，下次遇到類似情形不要馬上被最後的conversion rate說服，記得問問"樣本數有夠嗎?"、"這樣的比較結果是否具有顯著性"，絕對可以在跟上司報告的時候，或是噹下屬的時候派上用場!
作者碎碎念
Labels: A/B testing, Analytics, tips
