A/B 測試

您可以透過行銷活動發送行銷電郵/簡訊,但針對同一批聯絡人僅能發送相同的主旨、內文預覽、寄件人姓名、寄件人地址、電郵內容。而不同的主題或者內容可能會對開信率、點擊率、銷售額產生不同的影響,SmartPush 提供 A/B 測試功能,讓您透過測試觀察數據變化,打造出最專屬於您的顧客的行銷主題和內容。

目錄:

 

一、SmartPush 提供的 A/B 測試功能

SmartPush 的 A/B 測試功能支援您以不同的方式測試您的行銷活動,您可以單獨測試其中一個項目或者各種方式組合,可以測試的項目包含:

  • 電郵主旨
  • 內文預覽
  • 寄件人姓名
  • 寄件地址
  • 接收回覆的電郵
  • 顧客郵件語言
  • 郵件內容

在同一個 A/B 測試任務中,最多支援 5 個測試版本。(即最多設定 5 個測試組,對照組僅有 1 個)。

  • 測試組:測試時間範圍內優先發出給部分收件人的該組電郵。
  • 優勝組:優勝組並非一個新的組別,而是指測試指標最高的測試組。
  • 對照組:測試時間結束時,將優勝組內容發送給對照組的收件人。

*注意事項:

  • A/B 測試功能目前僅支援電郵。
  • A/B 測試功能暫不支援在免費版使用。

 

二、如何啟動 A/B 測試

步驟一:建立 Email A/B 測試

前往「行銷活動 > 活動列表」,點擊「建立行銷活動」,選擇「Email A/B 測試」。



步驟二:填寫測試內容

填寫 A 版本的測試內容,您可以測試的內容包含:電郵主旨、內文預覽、寄件人姓名、寄件地址、接收回覆的信箱、顧客郵件語言以及郵件內容。

 

每個 A/B 測試活動至少需建立 2 個版本,您可以選擇以單一或組合元素的方式進行測試。您填寫完 A 版本後,點擊「新建版本」建立 B 版本內容,可選擇複製 A 版本內容或新建立空白版本

 

步驟三:選擇受眾群組

設定完所有測試版本後,點按「下一步」,選擇您想測試的受眾群組。下拉列表會顯示您在 SmartPush 及 SHOPLINE 後台中設定的所有分眾群組。



*注意事項:

  • 此功能只支援發送給已訂閱的聯絡人,並限制所選群組至少有 50 位已訂閱的有效聯絡人,若收件人未達 50 位則無法進行測試。
  • 為了確保足夠的測試樣本數,SmartPush 仍建議您所選群組至少包含 1000 位以上已訂閱的有效聯絡人,以獲得更精準的測試結果。

 

步驟四: A/B 策略設定

分配比例

設定測試組與對照組的分配比例,分配比例會決定每組的收件人數量,測試組最小 10%,最大 100%,測試組有多組時,每組比例相同。當設定測試組 100% 時,就不會有對照組的存在,所有收件人都會在設定的發送時間收到信件。



測試指標

您可以選擇測試指標:開信率、點擊率、訂單數,系統將依據您所選擇的測試指標,在測試時間範圍內,以測試指標最高者作為優勝組。



A/B 測試建議:

  • 建議您明確訂定測試目的,盡量確保 A、B 版本的測試變量相同,進而透過控制變量的方式找出最高指標組。
  • 若您以開信率作為測試目的,請在郵件主旨、內文預覽、寄件人姓名與寄件人地址中選擇一項作為對比變量。
  • 若您以點擊率作為測試目的,則可以針對在郵件內容中按鈕的位置、數量及大小進行設計。
  • 若您以訂單數作為測試目的,則可以針對在不同郵件內容裡插入不同的商品數量或類型,例如:商品區塊熱銷和手動新增的商品哪一個更受顧客歡迎?

 

*注意事項:

  • 當測試指標都相同時,以開信率 > 點擊率 > 訂單數的優先順序找出最高指標,若指標數據相同,則以 A 版本作為優勝。
  • 當所有的測試指標都為 0,則以 A 版本作為優勝。



測試時長

由於開信、點擊、訂單不會在發出測試組時立即產生,累積數據需要一定的時間,所以我們建議您的測試時長至少設定在 24 小時以上(最多可配置 10 天或 240 小時)。

 

步驟五:設定 UTM 數據追蹤(選填)

您可以選擇是否開啟 UTM 數據追蹤,並設定參數。如何設定 UTM ,請參考:UTM 設定




步驟六:設定發送時間

您可以選擇「立即發送」或「排程發送」,設定完成後,點擊「建立」。




三、A/B 測試活動的任務狀態

  1. 草稿:未建立的任務狀態。
  2. 待發送:測試組設定延時發送
  3. 發送中:測試組正在發送階段,發送過程的時長取決於測試組所選的人群數量,人群數量越多,則發送時間越長。
  4. 測試中:測試組發送完成,進入測試階段。
  • 【手動選擇優勝組】的操作,會立即開始發送剩餘收件人。當剩餘收件人數量較大時,發送需要一段時間,在此期間,狀態一直處於測試中,直至剩餘收件人發送完成,才會進行狀態更新。
  1. 暫停中:
  • 手動暫停:在數據報告內操作暫停。
  • 自動暫停:若測試組發送失敗或者部分成功,此時測試組未完全發送,無法正常累積測試數據,系統會自動暫停 A/B 測試。
  • 暫停後,可在測試時間結束前手動恢復,過期則不可恢復。測試時間範圍計算方式:測試組發送時間+測試時長(舉例:設定測試組的發送時間為 2023-6-30 10:00:00 測試時長為 24 小時,則測試結束時間為 2023-7-1 10:00:00)。
  1. 已發送:測試組和對照組有部分尚未發送成功。
  2. 發送成功:測試組和對照組均發送成功。
  3. 發送失敗:測試組和對照組均發送失敗。
  4. 部分成功:您選擇的收件人群組中,有部分尚未發送。

 

 

延伸閱讀

 

 

 

 

 

還有其他問題?提交請求

評論