A/B测试没有结果该怎么办？

Ptengine 2024.02.01

阅读 459

引言

A/B 测试是转化率优化中最常被使用的手段。根据Smart Insights 的最新调查报告，60%的公司正在使用A/B测试，而另外34%的公司则计划采用。

(参考：TURELIST)

虽然A/B测试被很多企业认为是最好的提升转化的手段，但很多人也意识到大部分 A/B 测试都没有得到获胜版本，如果你有尝试过 A/B 测试，你可能自己也经历过这种失望。

究竟有多少A/B测试能最终跑出获胜的版本？

一项研究指出，平均7个A/B测试中仅1个测试能跑出获胜的版本，这意味着只有14%的A/B测试可以得到一个明确的结果。

许多线上服务的企业也都在谈论A/B 测试所带来的结果常常令人失望，虽然他们有时也会取得令人印象深刻的结果，但Appsumo（一个软件终身优惠销售平台）提到，他们的 8 次A/B测试中只有 1 次带来了重大变化。这种缺乏成功结果的情况往往会引发对A/B测试的失望和挫败感，导致转化率优化（CRO）的进度和投资降低。

好消息是，当发生这种情况时，你不用直接放弃失败的 A/B 测试并祈祷在下一次测试中运气更好一点。

为了帮助你尽可能确保成功并获得更多洞察，我们为你整理了以下清单，你可以通过这份清单来重新审视你的A/B测试，从而获得更大的成功机会，并且即使在失败的测试中你也可以获得真正有价值的洞察。

A/B测试学习清单

#1：是否为A/B测试创建了洞察驱动的假设？

A/B 测试没有明确结果的一个常见原因是测试本身的假设不够清晰，这是因为很多人通常只是猜测要测试什么，而不是运用洞察推导出测试想法。如果没有一个好的假设，你会发现测试没有结果时也很难从中学到东西。你可以通过网站流量分析、页面热图、客户调研或访谈等方式来发现问题或机会，从而获得一个强有力的假设。为了更好的洞察驱动假设，你可以使用以下格式来得到你的假设：

我们在[洞察获取类型]中注意到[页面或元素]上的[机会或问题名称]。通过[改进细节]改进这一点可能会[对指标产生积极影响]。

一个真实的例子是：

我们在 [Ptengine的热图] 中注意到，[产品详情页面] 上的 [页面浏览深度很低]。通过[在首屏图片上增加产品关键优势标签]来改善这一点可能会导致[浏览深度提升]。

因此，第一步是检查你A/B测试的假设是否足够明确，例如在产生假设时你使用了多少洞察？还是说这只是一个猜测或者只是你老板想要做的？

定义具体而清晰的测试假设也能使团队更专注于解决特定问题，避免在测试过程中迷失方向，也有助于选择与测试目标最紧密相关的评价指标。

#2：是否等了7天才宣布结果？

A/B 测试的一个简单但常见的错误是过早宣布失败的结果，即使你有大量流量，但过于渴望快速得到结果依然是个问题。甚至有些更糟糕的情况，进行测试的人可能在他们相对不喜欢的版本稍稍落后时就宣布测试结束。

为了避免这种错误，你通常需要等待7天再宣布结果，以便让变化结果的波动趋于平稳，并减少平日和周末流量差异的影响。

另一个前提是，在测试运行期间，你应该尽可能减少对网站做出其他重大变动，以免影响测试结果。

#3：不同版本间的差异是否足够明显？

你需要检查测试变更的内容是否在用户看来有足够的差异，如果你的变化很微小，比如在图像或措辞上做了小的改变，用户可能根本不会注意到，或者不会做出任何不同的反应。因此你很可能看不到一个成功的测试结果。A/B测试存在这种问题的频率往往比想象的更高。

如果你认为这可能是测试没有结果的原因，可以重新测试它，创建至少一个更加大胆的变更，你可以让其他团队成员或你的咨询公司参与，这可以帮助你集思广益，获得更多想法。

#4：测试内容的位置是否被足够的用户看到？

A/B 测试结果不确定的另一个常见原因是所测试的元素位置不容易被用户看到，例如在侧边栏中或页面底部。

因此，考虑将正在测试的元素移动到页面上更显眼的位置，或者拥有更多流量的其他页面，这对于CTA按钮、产品或服务的好处、风险降低等关键信息的测试尤其有效。

这一步对迭代或重新测试同一页面或内容至关重要，因为能帮助你确定它是否会对转化率产生良好的影响。如果仍然没有得到一个良好的后续测试结果，这意味着你应该转而尝试其他页面或内容的测试，希望它们能够更好地影响转化。

*如果持续跑不出结果，测试就白做了吗？以下开始包含了你能从失败的测试中获取哪些有价值的洞察。

#5：是否对测试结果进行了细分，以寻找潜在的获胜者？

使用A/B测试结果基于不同群体的细分分析，可以让你的剖析更加深入，发现是否存在某类人群对特定版本有更好的转化。

如上图所示，即使整体测试结果没有获胜者，但你可能会发现来自Facebook广告的用户在某个版本上胜出，而来自Line营销活动的用户在另一个版本上胜出。当你找到类似的洞察时，你甚至可以将不同的版本个性化展示给相应的用户，以在整体上获得更高的转化率。

这种细分结果的查看和个性化体验可以在Ptengine中轻松实现。

#6：是否查看了热图行为以获取测试页面行为的洞察？

你可以通过热图，对比不同版本的行为差异，这对于了解用户如何与测试相关的元素进行交互十分重要。尽管测试明确的优胜者，仍然可以从热图中学到很多东西。

例如，你变更的内容是否引起了用户更多的停留关注或点击互动，或是用户是否在某个版本上拥有更低的滚动流失，甚至是否有足够的用户浏览到了你所测试位置。有时，你也可能会发现并没有很多用户与测试的元素进行交互，或者是发现了页面上的其他导致用户流失的问题需要被解决。

因此，如果你尚未对A/B测试相关的页面进行此类可视化分析，请立即使用Ptengine等热图工具进行此类分析。

#7：是否了解过用户旅程中的前序步骤，确定是否有其他优先级更高的优化需求？

在查看A/B测试结果时，你应该去考虑整个访问者的旅程，而不仅仅只分析正在测试的页面。例如，如果你没有优先优化用户落地的页面，那么在后续的页面（如结账或购物车页面）上的测试的成功可能会受到限制。

因此，寻找所测试页面最常见的前一页，看看是否有任何与当前测试相关并且需要改进的内容。例如，如果你正在测试在结账流程中添加优惠信息，你是否也在前一页面上对这些优惠信息进行了测试。

你甚至可以更进一步，查看流量大的营销广告来源，看看它们是否与你测试的内容相关，以及可能有造成什么问题。例如，你在Facebbok中使用的广告措辞可能与你的落地页面上的内容不匹配。

#8：是否与团队分享了测试结果并集思广益？

为了将 A/B 测试中学到的信息积累和沉淀，你应该始终和团队内及营销和用户体验等其他团队的关键人员进行A/B测试假设和结果的分享和沟通，从而获得反馈和想法，以创意和设计为导向工作的人往往可以在改进 A/B 测试上提供更多靠谱的想法。

当 A/B 测试没有取得成功的结果时，这种团队内及跨团队的分享和沟通就显得更加重要。因此，建议你安排定期的会议来回顾之前所有的测试假设和结果，例如可以每个月一次，并集思广益以寻求更多更好的想法和见解，从而对你的A/B测试进行迭代或开始新的测试，同时可以将每次讨论的重点记录下来，不断沉淀成团队的资产。