6 个对我们毫无帮助的 A/B 测试
Posted: Sat Dec 07, 2024 8:36 am
我们曾写过关于 A/B 测试如何帮助我们发展 Groove 的文章。但这只是冰山一角……
想象一下，如果您有一个按钮，只需按下它 柬埔寨电话号码资料 就可以立即将转化率翻倍，而无需进行任何艰苦的工作、研究或反复试验？
听起来很神奇，不是吗？
它肯定会让初创公司创始人所面临的困难——漫长的日子、永无止境的障碍、持续的恐惧——变得更容易克服。
几乎每天都会看到博客文章，讲述某家公司如何通过简单地按下开关就让业绩翻倍、三倍或四倍——甚至就在这个博客上——这让人很容易相信这样的按钮是存在的。
但作为一名企业家，我必须学会的最艰难的教训之一是，无论我怎么努力，我都找不到那个按钮。
我可能永远也不会这么做。
当我们查看这些“大获成功”的案例研究时，我们没有看到数百次（有时数千次）测试在“通过简单测试”取得成功之前必须彻底失败。
我知道我们自己也犯了只展示冰山一角的错误，只是因为背景工作并不能让阅读变得很有趣。
但我认为，对于任何寻求“灵丹妙药”的人来说，了解一个简单的事实很重要：测试大多是一次又一次的失败。如果你很幸运，几周后你就能找到统计上可行的胜利。大多数时候，我们经过几个月的迭代才能看到结果。
为了说明这一点，我想分享一些经常被称为“轻松获胜”但对 Groove毫无帮助的测试。
1）注册按钮颜色
很多心理学研究都指出了各种颜色对我们的行为的影响，很多公司也通过测试按钮颜色的变化得到了结果。但我们没有得到相同的结果。
2）首页标题
标题/消息测试为我们带来了巨大的胜利，我们稍后会分享这些结果，但我们已经进行了数十次测试，最终结果都与上述类似。
3）注册行动号召
我们试图在号召性用语中添加一些紧迫性，希望能够让更多访客采取行动。但这并没有实现。
4）电子邮件主题行
我有一个朋友发现“免费访问”对她的邮件打开率有很大影响。但这里不是。
5）客户标识
我们想尝试展示来自不同行业的客户案例，希望确定哪些徽标最能引起访客的共鸣。没有区别。
6）定价
论坛上关于价格应该以 .00、.99 还是 .97 结尾的争论十分激烈。在我们的主页测试中，这并不重要。
如何将其应用于你的业务
这些测试对于我们来说失败了，但这并不意味着它们对您来说也不起作用。
但这也不意味着他们会在一周、一个月或一年内对我们失望。
这只是意味着，在我们进行测试时，它并没有在结果中产生任何具有统计意义的变化——无论是积极的还是消极的。
我以前说过，但作为一家企业，我们学到的最重要的教训之一是，长期的重大成果并非来自战术测试；而是来自于艰苦的研究、客户开发以及在信息传递、定位和战略方面的重大转变。
然后 A/B 测试可以帮助您优化已经验证的方法。
但我希望这篇文章能够揭开许多人发表过的标准案例研究“我们如何通过简单的测试使转化率翻倍”的面纱。
想象一下，如果您有一个按钮，只需按下它 柬埔寨电话号码资料 就可以立即将转化率翻倍，而无需进行任何艰苦的工作、研究或反复试验？
听起来很神奇，不是吗？
它肯定会让初创公司创始人所面临的困难——漫长的日子、永无止境的障碍、持续的恐惧——变得更容易克服。
几乎每天都会看到博客文章，讲述某家公司如何通过简单地按下开关就让业绩翻倍、三倍或四倍——甚至就在这个博客上——这让人很容易相信这样的按钮是存在的。
但作为一名企业家，我必须学会的最艰难的教训之一是，无论我怎么努力，我都找不到那个按钮。
我可能永远也不会这么做。
当我们查看这些“大获成功”的案例研究时，我们没有看到数百次（有时数千次）测试在“通过简单测试”取得成功之前必须彻底失败。
我知道我们自己也犯了只展示冰山一角的错误，只是因为背景工作并不能让阅读变得很有趣。
但我认为，对于任何寻求“灵丹妙药”的人来说，了解一个简单的事实很重要：测试大多是一次又一次的失败。如果你很幸运，几周后你就能找到统计上可行的胜利。大多数时候，我们经过几个月的迭代才能看到结果。
为了说明这一点，我想分享一些经常被称为“轻松获胜”但对 Groove毫无帮助的测试。
1）注册按钮颜色
很多心理学研究都指出了各种颜色对我们的行为的影响，很多公司也通过测试按钮颜色的变化得到了结果。但我们没有得到相同的结果。
2）首页标题
标题/消息测试为我们带来了巨大的胜利，我们稍后会分享这些结果，但我们已经进行了数十次测试，最终结果都与上述类似。
3）注册行动号召
我们试图在号召性用语中添加一些紧迫性，希望能够让更多访客采取行动。但这并没有实现。
4）电子邮件主题行
我有一个朋友发现“免费访问”对她的邮件打开率有很大影响。但这里不是。
5）客户标识
我们想尝试展示来自不同行业的客户案例，希望确定哪些徽标最能引起访客的共鸣。没有区别。
6）定价
论坛上关于价格应该以 .00、.99 还是 .97 结尾的争论十分激烈。在我们的主页测试中，这并不重要。
如何将其应用于你的业务
这些测试对于我们来说失败了，但这并不意味着它们对您来说也不起作用。
但这也不意味着他们会在一周、一个月或一年内对我们失望。
这只是意味着，在我们进行测试时，它并没有在结果中产生任何具有统计意义的变化——无论是积极的还是消极的。
我以前说过，但作为一家企业，我们学到的最重要的教训之一是，长期的重大成果并非来自战术测试；而是来自于艰苦的研究、客户开发以及在信息传递、定位和战略方面的重大转变。
然后 A/B 测试可以帮助您优化已经验证的方法。
但我希望这篇文章能够揭开许多人发表过的标准案例研究“我们如何通过简单的测试使转化率翻倍”的面纱。