A/B 測試

您可以透過行銷活動發送行銷電郵／簡訊，但針對同一批聯絡人僅能發送相同的主旨、內文預覽、寄件人姓名、寄件人地址、電郵內容。而不同的主題或者內容可能會對開信率、點擊率、銷售額產生不同的影響，SmartPush 提供 A/B 測試功能，讓您透過測試觀察數據變化，打造出最專屬於您的顧客的行銷主題和內容。

目錄：

• SmartPush 提供的 A/B 測試能力
• 如何啟動 A/B 測試
• A/B 測試活動的任務狀態

一、SmartPush 提供的 A/B 測試功能

SmartPush 的 A/B 測試功能支援您以不同的方式測試您的行銷活動，您可以單獨測試其中一個項目或者各種方式組合，可以測試的項目包含：

• 電郵主旨
• 內文預覽
• 寄件人姓名
• 寄件地址
• 接收回覆的電郵
• 顧客郵件語言
• 郵件內容

在同一個 A/B 測試任務中，最多支援 5 個測試版本。（即最多設定 5 個測試組，對照組僅有 1 個）。

• 測試組：測試時間範圍內優先發出給部分收件人的該組電郵。
• 優勝組：優勝組並非一個新的組別，而是指測試指標最高的測試組。
• 對照組：測試時間結束時，將優勝組內容發送給對照組的收件人。

＊注意事項：

• A/B 測試功能目前僅支援電郵。
• A/B 測試功能暫不支援在免費版使用。

 

二、如何啟動 A/B 測試

步驟一：建立 Email A/B 測試

前往「行銷活動 > 活動列表」，點擊「建立行銷活動」，選擇「Email A/B 測試」。

步驟二：填寫測試內容

填寫 A 版本的測試內容，您可以測試的內容包含：電郵主旨、內文預覽、寄件人姓名、寄件地址、接收回覆的信箱、顧客郵件語言以及郵件內容。

每個 A/B 測試活動至少需建立 2 個版本，您可以選擇以單一或組合元素的方式進行測試。您填寫完 A 版本後，點擊「新建版本」建立 B 版本內容，可選擇複製 A 版本內容或新建立空白版本。

步驟三：選擇受眾群組

設定完所有測試版本後，點按「下一步」，選擇您想測試的受眾群組。下拉列表會顯示您在 SmartPush 及 SHOPLINE 後台中設定的所有分眾群組。

＊注意事項：

• 此功能只支援發送給已訂閱的聯絡人，並限制所選群組至少有 50 位已訂閱的有效聯絡人，若收件人未達 50 位則無法進行測試。
• 為了確保足夠的測試樣本數，SmartPush 仍建議您所選群組至少包含 1000 位以上已訂閱的有效聯絡人，以獲得更精準的測試結果。
  

步驟四： A/B 策略設定

分配比例

設定測試組與對照組的分配比例，分配比例會決定每組的收件人數量，測試組最小 10%，最大 100%，測試組有多組時，每組比例相同。當設定測試組 100% 時，就不會有對照組的存在，所有收件人都會在設定的發送時間收到信件。

測試指標

您可以選擇測試指標：開信率、點擊率、訂單數，系統將依據您所選擇的測試指標，在測試時間範圍內，以測試指標最高者作為優勝組。

A/B 測試建議：

• 建議您明確訂定測試目的，盡量確保 A、B 版本的測試變量相同，進而透過控制變量的方式找出最高指標組。
• 若您以開信率作為測試目的，請在郵件主旨、內文預覽、寄件人姓名與寄件人地址中選擇一項作為對比變量。
• 若您以點擊率作為測試目的，則可以針對在郵件內容中按鈕的位置、數量及大小進行設計。
• 若您以訂單數作為測試目的，則可以針對在不同郵件內容裡插入不同的商品數量或類型，例如：商品區塊熱銷和手動新增的商品哪一個更受顧客歡迎？
  

＊注意事項：

• 當測試指標都相同時，以開信率 > 點擊率 > 訂單數的優先順序找出最高指標，若指標數據相同，則以 A 版本作為優勝。
• 當所有的測試指標都為 0，則以 A 版本作為優勝。

測試時長

由於開信、點擊、訂單不會在發出測試組時立即產生，累積數據需要一定的時間，所以我們建議您的測試時長至少設定在 24 小時以上（最多可配置 10 天或 240 小時）。

步驟五：設定 UTM 數據追蹤（選填）

您可以選擇是否開啟 UTM 數據追蹤，並設定參數。如何設定 UTM ，請參考：UTM 設定

步驟六：設定發送時間

您可以選擇「立即發送」或「排程發送」，設定完成後，點擊「建立」。

三、A/B 測試活動的任務狀態

1. 草稿：未建立的任務狀態。
2. 待發送：測試組設定延時發送
3. 發送中：測試組正在發送階段，發送過程的時長取決於測試組所選的人群數量，人群數量越多，則發送時間越長。
4. 測試中：測試組發送完成，進入測試階段。

• 【手動選擇優勝組】的操作，會立即開始發送剩餘收件人。當剩餘收件人數量較大時，發送需要一段時間，在此期間，狀態一直處於測試中，直至剩餘收件人發送完成，才會進行狀態更新。

5. 暫停中：

• 手動暫停：在數據報告內操作暫停。
• 自動暫停：若測試組發送失敗或者部分成功，此時測試組未完全發送，無法正常累積測試數據，系統會自動暫停 A/B 測試。
• 暫停後，可在測試時間結束前手動恢復，過期則不可恢復。測試時間範圍計算方式：測試組發送時間+測試時長（舉例：設定測試組的發送時間為 2023-6-30 10:00:00 測試時長為 24 小時，則測試結束時間為 2023-7-1 10:00:00）。

6. 已發送：測試組和對照組有部分尚未發送成功。
7. 發送成功：測試組和對照組均發送成功。
8. 發送失敗：測試組和對照組均發送失敗。
9. 部分成功：您選擇的收件人群組中，有部分尚未發送。

延伸閱讀

• A/B 測試的數據報告分析