为什么要进行 A/B 测试
针对同一批联系人，我们通过营销活动发送任务，仅能发送相同的主题、内文预览、寄件人姓名、寄件人地址、邮件内容。但不得不说，不同的主题或者内容可能会对打开率、点击率、销售额产生不同的影响，通过不断的测试，我们可以从数据的角度印证我们的客户真正喜欢什么样的主题和内容
SmartPush 提供的 A/B 测试能力
SmartPush 的 A/B 测试功能支持你以不同的方式测试你的营销活动：
●邮件主题、内文预览、寄件人姓名、寄件人地址、邮件内容均支持测试
●可以单独测试其中一个或者各种方式组合
●一个 A/B 测试任务支持最多5个版本（即最多设置5个测试组。对照组仅有一个）
●测试组：测试时间范围内优先发出给部分收件人的邮件组
●优胜组：优胜组并非一个新的组别，而是依据测试指标最高的那个测试组获胜，得名优胜组
●对照组：测试时间结束时，将优胜组内容发送给对照组的收件人
其他必要了解：
●A/B 测试功能暂不支持在免费版使用
●虽然设置 A/B 测试任务所选群组限制至少有50位有效（订阅）联系人，但是我们依旧建议您，所选群组可以在1000位以上联系人，确保足够的测试样本量，才能获得更精准的测试结果
●A/B 测试任务只支持发送给已订阅邮件的联系人
●A/B 测试当前仅支持邮件
接下来，将介绍 A/B 测试的工作原理及如何配置和启动 A/B 测试
工作原理
1.确定测试目标
设置测试指标：打开率、点击率、订单数，任选其一
系统将依据你所选择的测试指标，在测试时间范围内，以测试指标最高者作为优胜组。
a当测试指标都相同时，以打开率>点击率>订单数的优先级找出最高指标，依旧相同，则以A版本作为优胜。
b当所有的测试指标都为0，则以A版本作为优胜。
2.确定测试内容
邮件主题、内文预览、寄件人姓名、寄件人地址、邮件内容均可作为你的测试内容，以单一或者组合元素的方式使用
3.定义测试受众和样本量
设置测试组和对照组的分配比例，分配比例决定了每个测试组的收件人数量。测试组最小10%，最大100%，测试组有多个组时，比例相同。当设置测试组100%时，就不会有对照组的存在，所有收件人都会在设置的发送时间一齐发出
4.定义测试时长
设置测试时长：由于打开、点击、订单不会在发出测试组时立即产生，数据积累需要一定的时间，我们建议您的测试时长至少设置在24小时以上（最多可配置10天或者240小时）
配置 A/B 测试任务
1.创建 A/B 入口：营销活动-活动列表-【新建营销活动】按钮，即可见下示入口
2.每个 A/B 测试任务，至少创建2个版本才可以进入【下一步】，你可以填写完A版本后，点击【新建版本】，复制A或者新建空白版本
3.邮件信息配置逻辑，同营销活动一致
4.A/B 测试任务的任务状态包括以下：
a.草稿：未【创建】的任务状态
b.待发送：测试组设定延时发送
c.发送中：当测试组正在发送中时，所处的短暂中间态。发送过程的持续时长取决于测试组所选的人群数量，人群数量越多，时间越长
d.测试中：测试组发送完成，进入测试阶段
ⅰ.【手动选择优胜组】的操作，会立即开始发送剩余收件人。当剩余收件人数量较大时，发送需要一个时间，在此期间，状态一直处于测试中，直至剩余收件人发送完成，才会进行状态流转
e.暂停中：
ⅰ.手动暂停，在数据报告内操作暂停
Ⅱ.自动暂停，若测试组发送失败或者部分成功，此时，测试组未完全发送，无法正常积累测试数据，系统会将 A/B 测试自动暂停
ⅲ.暂停后，可在测试时间结束前可手动恢复，过期则不可恢复。测试时间范围计算方式：测试组发送时间+测试时长（举例：设置测试组的发送时间为2023-6-30 10:00:00 测试时长为24小时，则测试结束时间为：2023-7-1 10:00:00）
f.已发送：测试组或者对照组任意一个组发送失败
g.发送成功：测试组和对照组均发送成功
h.发送失败：测试组和对照组均发送失败
A/B 测试任务的数据报告解读
数据概览
实时汇总对应任务下所有的发送数、打开率、点击率等指标
支持分别查看各测试组的URL点击与热图、首个24小时活动表现、域名数据。当测试结束时，若有对照组，则会展示对照组的URL点击与热图、首个24小时活动表现、域名数据
A/B 测试
主要查看 A/B 测试数据，若未设置对照组，则直接展示各测试组的数据
若有设置对照组，则会分别展示测试期的数据及整个周期数据
测试期的数据指在测试时间范围内产生的数据
由于邮件发出后，打开率和点击率会随着时间的推移而变化，故而整个周期的数据实时积累所有时间的数据
用户明细数据
实时积累所有时间各组别的数据
导出数据遵循筛选结果，即若选择某个组，则仅会导出对应组的数据
A/B 测试的最佳实践
●确保定期和多次的测试
A/B 测试是一个持续的过程，不应仅因一次测试而停止。总会有新的元素、想法和消息需要测试，你不应该回避利用 A/B 测试来进行测试。
如果你刚刚测试了主题，则可以对内文预览进行下一个测试，然后是电子邮件内容，然后是 CTA，等等。如果您完成了所有这些操作，您可以针对不同的受众群体尝试不同的消息传递变体。
●一次仅测试一个变量
请明确你的测试目的，尽量确保AB版本的测试变量唯一，否则你可能无法知道是哪个变量影响了结果
若以打开率作为测试目的，请选择主题、内文预览、寄件人姓名&寄件人地址中的一项作为对比变量
若以点击率作为测试目的，则可重点关注邮件内容中按钮的位置、数量及大小对点击的影响
若以订单数作为测试目的，则可重点优化不同邮件内容里插入的商品数量或者类型，举例：商品区块热销和手动添加的商品哪一个更受欢迎
●确保足够的样本量
评论