你還在瞎搞AB測嗎?

你還在瞎搞AB測嗎?

馬上跨入 2020 年了,大家都已經知道:只靠經驗、直覺做優化,顯然會被那群天天做 AB測的大兄弟們甩在后面。

AB測試,大家都知道需要做,但還是有很多人一到落地時就覺得啰嗦,“ 這都是不必要的成本,能省就省,萬一我每次都能猜對用戶的心呢?”
大兄弟,問題不在于你是否猜對了用戶的心,而是你根本不會有機會知道,你放出來的是錯的!
?

一些數字
每 8 個 A / B 測試中就能有 1 個對營銷策略產生重大改變。
A/B 測試可以加速用戶體驗的優化,將總體效率提高 400% 以上。
A/B 測試在增加有效線索的方式中,排名 No.1 ,因為它快、簡單、便宜。
據統計,全球 Top 10% 的營銷人,每天都在通過 A/B 測試做決策。

這些優秀的人,都在拿AB測試做什么呢?
場景非常多,說兩個最經典的:

1.幫你測試出最好的信息傳達方式:
比如,測試新品賣點,用戶是否買賬? → 測試好賣點,用戶是否能看到?→ 測試好賣點用戶是否一眼就能看到?

2.讓你穩中求勝,通過經驗賦能自己:
驗證產品改版會大獲成功還是撲街 ? → 驗證哪里值得不斷下功夫打磨 ? → 驗證哪里應該早早勸退,不要枉花時間 ?
用最少的資源測出最佳的效果,既能規避一定失敗的風險,還能讓你對市場和用戶的判斷越來越牛,從而作出更高效的假設。

方法對了,才能奏效

1.盡量一次只測試一個假設
比如,提高微信推送通知的點擊率這件事,我知道很多朋友會搞10條、8條,同時測試,最后一看數據,覺得一下找到了最佳方案。掉坑了吧?且不說隨機性會影響結果顯著性和可信度,這樣做,還有一個本末倒置的誤區:做 A/B 測試不是只為了在當下做一個決定,無論是人工還是自動化的測試,每個測試的結果都能獲得一些用戶行為洞察,讓你的團隊或機器伙伴更聰明。
一定是你先對某個變量的表現有所懷疑,然后你“控制”這個變量,原始版本是A,再根據經驗做一個假設,改進版本是B 。別搞 ABCDEFG 測試。

2.在運行A / B測試之前,確定 “統計顯著性” 標準
什么樣的統計結果會讓你決定更改目標變量或廣告系列?
先確定你將要對測試結果所執行的規則,不是先做做看,到時候再說。。。
比如,修改注冊表單的選項可能是一個重大改變,會帶來連鎖反應,你可以將目標定的嚴格點兒,如 95-99% 的統計顯著性。

3.先抓重點,首先測試整個頁面
如果是做一個新的落地頁或網站、H5等,在你瘋狂測試某個按鈕、顏色、圖片或標題之前,請先嘗試測試整個頁面的結構和風格,而不是上來就測試每個次要設計元素。
一個簡單的方法是,你只需設計兩個完全不同風格的目標網頁,并持續測試。
幾乎可以肯定的是,一個版本會勝過另一個版本,一旦你確定了獲勝者,你就可以知道哪種風格更受到你的訪客喜愛了。

4.盡可能全面地觀察漏斗變化
進行各種A / B測試時,大部分人都認為最終目的就是提升轉化率。但是,不要讓轉化率成為你所有測試的全部和最終結果。
一定同時關注監測的其他指標:點擊率、退出率、潛在客戶活性?因為 ROI 的提升,不單單是看轉化率。檢查整個漏斗的更多指標,盡量把問題考慮全面。( Ptengine 有很好的工具可以幫助分析這些結果。)

5.“隱形” 元素 VS 明顯元素
當查看A / B測試時,很容易想到的就是顏色、布局、字體大小、列位置、標題、按鈕、頁面長短等設計細節。
但是,別忘記還有很多特別重要的維度:不同推廣時段(一天中的時段、星期幾、月份、季節)、引導步驟背后的邏輯等。

6.測試細節不是一步到位的
有時最微小的變化可以產生很大不同,不必將 A / B 測試限制為不成功便成仁,因為即使調整有優化,也不定能達到你期望的指標,可以做很多次調整。比如,赫赫有名的谷歌工具欄,一個陰影的色調就測試了41次。

說到底,A/B測試對我有什么好處 ?

如果是營銷人和產品人
“簡短的標題引導比長標題點擊多了 9 倍!” 或 “ 讓流量提高了 157% 的視頻!” 等,可能會誘惑你立即寫個短標題,或在頁面加一個酷炫的視頻。別忘了,任何方法都不是通用的,很棒的技巧可能并不適用于你的業務或用戶。每個企業都能梳理出自己獨一無二的用戶特征。

這也是為什么需要 A/B 測試。A/B測試只是用了科學實驗的思路,但它不是科學實驗,它能得出一些結論,但不是定律。你只是多了一個手段,1. 幫助你把用戶看得更清楚,2. 更快更低成本地做相對正確的決策。

如果你的用戶喜歡在晚上,蜷縮在沙發上看你的網站,簡短標題可能不如一個有點兒長,但很溫馨的標題。
受益于A / B測試的人,是通過測試,獲得思考和用戶認知的人。

如果是內容傳播者

用戶/讀者的需求推動你的內容創作。

例如,如果目標受眾是高級管理層,那么帶有豐富鏈接資料的簡短文章可能比半小時的視頻講述更好。
如果你的受眾是喜歡技術那一卦的,他們可能會對有大量數據統計、圖表分析的資料反響更好。
通過A/B測,了解你的受眾已經知道多少,他們需要接下來獲得什么進階知識,他們對什么形式最感冒。

當然,真正的AB測試,受益的最終是你的用戶

即使是微小的改進也會影響用戶的行為,雖然,用 AB測試做細節優化可能看起來是浪費時間精力,但真正的受益者是用戶,他們的感受提升了,使用產品更加舒服了,這有滴水穿石的功效。

人的特性無法避免:大家都是視覺動物,在決定參與或購買時,感官感受最重要。( JLB Media 曾報道,90% 的購物者認為視覺效果是他們購買決策中最重要的因素。)

AB測試對國內的很多團隊來說,可能是一個具有挑戰的事情:設置測試、管理細節、收集和分析數據。。。但是,來勢不可擋。根據你的公司規模、預算、員工和目的,你可以設計一套簡化的 AB 測試流程。

如果你從未進行過數據分析并希望開始 AB 測試,那么 Ptengine 或許能幫到你。
1.你可以安裝基本功能,低成本入門
2.因為非常直觀友好的用戶界面,上手快
3.可以在預算增長時,添加各種功能。
4.你可以在頁面上采取兩個(或更多)頁面變體,并將它們同時比較,看看哪個頁面表現更好。
5.相對輕松地提高參與度和轉化率,并對目標頁面進行大量快速更改,而不用非得懂代碼。

咋用Ptengine做 AB 測 ?來個實例

兩個主標題之間的 Battle 大戰

測試對象:Ptengine 產品官網首頁的主標題。 http://www.jsxetn.com/
市場人 Allen,死活覺得原來的主標題不符合中國人說話習慣,于是堅持要做 A/B 測試。
他用 Engage 的一個叫《優化引導》的功能,開搞~

Allen 心心念念的是一個走 “簡單直接粗暴”路線的標題。

于是,他快速創建 2 個 AB測試版本。如下圖:

經過 3 周的測試曝光,新版的退出率較低,但注冊率也略低。考慮到注冊轉化率不是最終指標,還要對注冊用戶的質量做評估,我們的市場人 Allen 決定繼續觀察一段時間,看一下轉化率的表現和人群精準度是否有差異。

小結

有的時候,我們都覺得 A/B 測試最牛的地方是,我做一個測試,立馬水落石出,但事實是每 7個 AB 測試就有一個會不顯著,這種情況下,可以:1.調整測試方案,尋找更顯著結果; 2.持續觀察,深挖一下數據背后的意義。

當然,也別灰心, 靠 AB 測試大獲成功的人更多。VIPKID通過首頁的AB測試,大刀闊斧的改版,注冊率提升了150%;啟德教育通過AB測試敲定引導彈窗版本,留資轉化率提高65% …

最后,希望優秀的團隊都能有如上圖的飛躍,不浪費資源,不撕逼,有問題多測一測。

發表評論

電子郵件地址不會被公開。 必填項已用*標注

秋霞理论2019年成片39页