A/B 分类测试

A/B分类测试使得网站可以通过比较同一网页的不同设计，来决定其中哪些设计将产生最好的结果。在A/B测试中用到的指标是微观和宏观的转化率。随着那些不需要太多开发协助和技术资源就能运作A/B测试的工具的出现，A/B测试已经变得愈加常见。这个方法本在市场营销从业者中有着很稳的立脚点，而因为成本相对较低，它也正在越来越广泛地被用户体验设计师们所运用。许多大型电子商务网站如谷歌及亚马逊都以“总在测试中”而著称－－他们在任何适合都同时进行着多组A/B测试。

（来自Netflix分享ppt）

无用输入，无用输出（GIGO）

使用得恰当时，A/B测试是一个非常强大的工具。然而以下三种情形下的A/B测试还是会有潜在的问题：

1）当所要测试的设计元素并没有很好地提现设计意图。

糟糕的设计会导致糟糕的转换率 – 这很显而易见。但是，每个设计都是一个产品概念的后续执行，因而通过设计的实施来评判一个产品概念本身的优劣是很可笑的。通常要经过许多次设计尝试才能充分地体现出真正的设计意图。

比如说，你可以认为理论来说，增加对某一选项的说明会增加其被选择的可能性，然而如果这条描述表达得像一则广告，用户就可能会无视。这个增加选项的说明的设计意图是对的，但其表达形式却是错的。因此设计意图和设计结果的偏差可能会是致命的。

当设计元素本身并不能告诉你问题的源头在哪。对问题起因的错误推测，也会让你在错误的设计元素上浪费时间，因为该元素却并非是该问题背后真正的原因。即便修改这个设计元素也不能真正解决问题，因为你的切入点一开始就错了。比如，你可能猜测一个贷款申请提交转化率低是因为流程的页面太多了，所以你把它浓缩到一个页面里，但是你仍看不到任何转化率的提升。你忽略的是，用户真正的问题是找不到贷款利率，而他们点进申请页面其实是为了找贷款利率。

2）当设计只是设计者的主观猜想。

使用A/B测试时你只能从已提供的设计选项中找到最佳的那个。如果这些选项是基于主观经验和意见的话，谁又能说这个测试包含了最优的设计呢？

3）这些A/B测试实验过程当中的瑕疵可以通过用户研究来减少。

即使只实施了些许的用户研究，我们仍能获取一些极其宝贵的有关于转化率问题的潜在原因的线索。

发现真正原因，定义更好的设计

发现（造成转化率低的）真正原因，定义更好的（用于测试的）设计。

　　“实验可以证实一个理论，但实验永远无法创造出一个理论。 ” － 爱因斯坦

要保证A/B测试执行得好，需要定义以下这几步：

你可以先集中全部精力建立一套致因体系，并罗列设计元素的可能性，然后用A/B方法把他们全部测试一遍：这是最直接了当却不免有一些鲁莽的方法。不经深思熟虑的 A/B测试等同于把想法往墙上扔然后看哪个能黏住。不幸的是，你做不起这样的测试：这样大规模地测试会增大用户放弃操作的几率，并且使总体验变糟糕。当你等着从大量A/B测试像抽中彩票一样找到最好的方案，用户可能已经转而使用了他们第二选择的产品。他们可能最终认定你的网站是失败的，以后再也不来了。你需要缩小假设的数量范围，并且小心谨慎、高效地部署你的A/B测试；为达到此目的，我们推荐使用用户研究的方法。

提升最优化测试的用户体验研究方法

1）定义用户意图和可能反对的理由

理解人们为何访问、是否能成功访问、和他们为何会离开，是相当重要的。如果你错误地假设了人们访问网站的原因，那么你的起因理论和设计假设将不能够反应用户感知该环境的真实情况。没有做过调查就对用户离开的原因做假设是很危险的。举个例子，假定你假设访问者没有做意想中的操作（买单）是因为价格太高，你于是将价格降低，边际利润就受到了打击。如果人们真正不买账的原因不是价格，而是他们不理解你提供的服务所解决的需求是什么，那么你就大错特错了。

让我们来看看Netflix是怎么做的：

Netflix就做了一个很有趣的A/B测试来了解影响转化率的因素。Netflix的主页上展示了大量的影视作品，然而不同用户所看到的是不一样的。作为其A/B测试的一部分，这是该公司对用户提供的个性化推荐。然而，不仅如此，Netflix更对看到同一个影视产品推荐的用户进行了分批测试。他们让视觉设计师重新设计了不同版本的影视剧海报，并将这一变量用于A/B测试。得到的结果是，即便是同一个作品，不同的海报仍会造成不同的转化率。这就印证了造成用户离开或点击的理由是多样化的。因此不要局限于那些明显的理由，而要深掘用户可能关注的点。有时候用户说的不一定是他们所做的，所以往往观察比问卷调查能提供更为真实的用户使用倾向。

（图片来自Netflix博客）

（图片来自Netflix博客；右上的两张标注的图片显著地提高了转化率）

2）发现界面的缺陷

如果你忽视了重大的可用性问题，比如让人难以理解的交互流程，或容易造成误解的微交互，那么你可能不会从不断的A/B测试中获得转化率的提升，因为你的设计并没有应对问题的根源。举个例子：如果你提供的填空题中有几项要求的信息是用户不方便或不愿意提供的，那么仅仅靠更改提交按键的颜色来做A/B测试是不会有效提升转化率的，反而是浪费力气。理解低转化率的真正原因才是执行智慧、成功的测试的关键。

如何发掘界面的缺陷：可用性测试（远程主持或免主持，或当面）可以快速进行并可在五个左右用户的帮助下就揭露网站近85%的重大缺陷。

3）衡量网站的可寻性

测试导航标签和菜单设计能披露可寻性的问题。但是，糟糕的可寻性可以并且应该在实施A/B测试之前就确认，这直接影响了信息架构和站内导航。

如何衡量可寻性：树图测试可以在不影响任何界面设计的情况下测量一个已有的或设定的信息架构。树图测试会告诉你标签、链接分组、页面层级及命名系统是否直观。如果你在纠结如何命名网站中的区块、页面、链接以及标签，树形测试能帮你找出最有问题的命名，并帮你设计出能改善可寻性的新标签。树图测试可以用Optimal Workshop开发的Treejack这样的工具进行，它生成可用于测试信息架构的任务。

3）测试前先”铺好路”

最简单的方法，就是开始在A/B测试前，先把那些可能会影响用户操作的绊脚石解决掉。一般几个小时的测试即能揭露几乎所有你网站上特别糟糕的设计。更为复杂和完善的用户研究当然益处更多，但不要忽视了最基本的审查清理工作。对A/B测试而言，你当然希望所要测试的目标元素不会受到其它可用性问题的干扰，而是能被用户更好的体验到。所以开始测试前先做一次“路障清理”吧。

结语

结合不同方法最大化转化率。

A/B测试是一个绝妙的工具，却时常不幸被误用。如果用A/B测试替代用户研究，那么测试中的设计选项本质上只是主观猜测。你可以通过结合用户研究来更精准的找到问题起因、提出更符合现实的假设，从而为更好的测试结果提供更大的可能。

英文原文：Jennifer Cardello, Define Stronger A/B Test Variations Through UX Research.

所有的免费游戏开发者和市场营销者们都知道，常规的更新对于游戏来说是必要的，因为它可以为玩家提供持续的优秀体验。这其中的决策过程，除了创意之外，都应该是由数据驱动的，对于游戏来说，任何一个改变带来的影响都应该被衡量到，所以，很多公司都会使用到A/B测试，但是，你所使用的方法可能对于测试结果产生很大的影响。

通过使用其他的分析数据比如用户分类和定位等等，A/B测试用于测试你的游戏中有明显差异的不同用户群，通过这个结果来了解游戏的变动带来了哪些积极影响或者消极影响。这些变动可能包括调整游戏难度、尝试不同的IAP选择，或者改变某个按钮的颜色等等。

完善A/B测试的策略是有意义的，因为它可以帮助游戏的提高，达到更好的留存率、参与度和货币化水平。以下是五个比较有效率的A/B测试策略：

1.决定游戏的哪个地方需要提高

你的测试目标越明确越好，所以在测试的时候拥有清晰的目标或者想法是重要的，专注于游戏内的哪些地方需要提高，就是不错的开始。

你应该衡量游戏内活动并追踪关键表现数据（KPI），追踪首次用户体验，看看你的游戏上手体验是否容易让玩家接受，通过详细的观察了解用户在游戏中的进度，然后确定他们推出的时机。

2.测试样本大小很关键

获得足够多的测试用户才能够得出比较中肯的结果，选择玩家们经常的游戏时间进行测试是非常有帮助的，使用之前的游戏数据决定什么时间才是最合适的。如果你不确定测试样本大小是否能够准确的反映问题，就需要进一步的了解如何测试你得到的数据是否足够精确。

3.不要太早的下结论

对于测试要有耐心，有时候一些测试是需要时间才能得出真实结果的，比如说，你希望增加首次付费率。在决定的测试样本大小之后，要提前确定测试的时间长度，了解这个测试需要多久才能得到足够的数据，不过，如果有需要的话，尽可能增加测试时间。

4.为不同用户群提高游戏体验

并非所有的玩家都是一样的，所以你要实时测试，实时检查游戏调整对于玩家行为的实时影响，这需要比调查问卷更久的时间，如今已经有了非常强大的深度数据挖掘能力，把最好的游戏数据猜测成整体玩家数据是非常愚蠢的，一个用户群的数据可能并不适用于其他类型的用户。

所以，要专注于了解应该使用哪些不同的方法让你的目标用户群最能接受，然后为每一组找出最合适的解决方法，随后据此结果量身定做对应的提高，让游戏体验做到个性化。

5.不要只看一次测试

如生活一样，你付出多少，才有可能收获多少。一次测试不可能给你所有需要的答案，所以要做好多次测试的打算，并且把不同的测试结果进行汇总，找到最有效的解决办法，然而，要记得把测试保持在可控范围内。

那么，你做了A/B测试，也对游戏做出了调整，带来了不错的结果。然后呢？很多人都容易以为这就结束了，但是，在免费游戏市场，如果你想要获得成功，不断的完善游戏是必需的过程，你一直都要关注游戏的KPI并且不断的进行测试。

而研究同时发现增加转化率最有价值的方法是测试，3/5的公司表示A/B测试和多变量测试作用很大。

为了证明AB测试在提升转化率方面的作用，199IT这里将通过改变网站UX设计以提高转化率的案例编译如下：

MOZ转化率如何提升52%

MOZ过去名字为SEOMoz，一家为网站提供SEO服务的网站，在构建新的注册登录页面后，带来收入提升100万美元。

这个改变始于对现有，既往和免费用户的访谈：

• 付费用户被问的问题有他们喜欢服务哪些方面，他们如何向朋友描述
• 免费体验用户的问题则是他们如何才愿意订阅服务，他们最喜欢什么，以及他们目前的SEO情况
• 既有用户则被询问他们为何取消了这个服务，如何才能吸引他们回来

在访谈后，进行了版本测试，最终的测试统计了5千位用户，实现了52%的会员销售转化提升。最后，MOZ针对免费体验会员，提供了1美元30天功能不限的服务。

这导致了注册数的迅猛增长，但为了确保这些用户持续付费，MOZ定期发送邮件提醒用户如何从服务中获得最大的价值。

最终MOZ的转化率在4个月内提升了170%，带来额外收入1百万美元。

Buyakilt转化率提升26%

产品筛选功能是电子商务网站的常见功能，但是他们的效果一直受短裙零售商Buyakilt的质疑。

由于产品列表在过去没有产品筛选按钮，这个网站增加了厂商，花料，样式等筛选选项。

结果非常惊人:

• 收入提升76.1%
• 转化提升26%
• 购物车访问提升19.76%

Expedia去掉一个表单选项，利润提升1200万美元

原先的表单有“公司名称”选项，在去掉这个让用户困扰的选项后，带来额外利润1200万美元。

ASOS有效降低购物车放弃率

在购物车买单环境，对于那些没有帐号的用户，ASOS并没有强制用户注册，而是耍了一点花招，让用户实现了注册的目的，但却从来没有提及注册的字样。

.

BaseKit 转化率提升25%

在重新设计套餐和价格页面后，BaseKit成功将转化率提升25%。主要的目的是让访问这个页面的用户看到“TRY NOW”按钮。

下面是旧的设计：

新的设计是让视觉总体变得更大更亮，有清晰的价格信息，测试说明，以及更加明显的选择。下面这个设计带来的转化率提升达到25%。

长注册页面带来收入提升274%

Heritage Foundation 通过将放在上面的注册CTAs移到下面，并配合以注册的价值说明后，捐赠转化率提升74%。

视频营销公司Vidard有个成功的案例：他们设计的这个页面只是想想收集客户的电子邮件信息，他们为此制作了三个版本：版本D和H分别使用灯箱和iFrame嵌入视频，而版本J则没有包括视频。

下面是是测试结果：

• 不含视频：6.5%的平均转化率
• 视频嵌在页面中：11%的平均转化率（提升69%）
• 将视频嵌在灯箱模式中： 13%的平均转化率（100%提升）

改个词CTR提升161%

VeeaM是一家只通过合作伙伴销售软件的公司，因此他的产品页面并没有包括价格信息，而只是提供了一个销售查询入口。

为了提高入口的点击率，Veeam测试了两个版本，一个入口的词为“Request a quote”，另一个改为‘Request pricing’

Control version – ‘Request a quote’

New version – ‘Request pricing’

结果是新的版本，点击率提高了161.66%。

via：199IT编译自Econsultancy

大数据为Dan Siroker提供了巨大的机会。作为2008年奥巴马第一届总统竞选当中担任分析顾问总指挥的他，也是前谷歌Chrome和Adwords的产品经理。当时，在竞选团队当中，他主要负责对竞选网站进行数据分析，从而引导民众的投票意向。

对于Siroker来说，决定去尝试什么并不是一件难事，他很轻松地想到采用仅有两个明显不同选项的“争锋相对”的测验方式——A/B测试是一种新兴的网页优化方法，可以用于增加转化率、注册率等网页指标。但是，瓶颈则来自于后勤方面，每一个测试都需要一个技术人员或者一个开发者去改进设计，完善编码。Siroker说：“很快就觉得精力有限了，但是我们知道会有一个更好的方法的。”

而更好的方法就是Optimizely，它能够简化A/B测试，这个过程涵盖了比较两个选项在线上引起的点击率，它们的颜色、信息、价格指标还有产品内容等方面的表现。

2009年，Siroker和他在谷歌的同事Pete Koomen在旧金山开办了Optimizely这家公司；2010年，他们完成Y Combinator 加速器的项目之后，两个人签了几千个中小型的客户；2011年，公司接下了星巴克和迪士尼两个大客户。

用户通过Optimizely激活一个弹出式的编辑工具，可以对现有网站结构进行测试和调整。比如，为了让更多的顾客在线申请咖啡会员卡，星巴克测试了在他们主页放上广告和在注册页面当中放入申请咖啡卡的链接两个效果。在决定哪种方式更有效之后，星巴克可以使用Optimizely修改编码。

Optimizely业务上的爆发是在2012年，奥巴马的竞选团队在第二次竞选中又重新雇用了Siroker，而他则为奥巴马团队的总统捐款页面提高了50％的转化率。Siroker也承认说：“2012年我们的成功的确把我们公司带进了这块市场的版图。”
客户根据自己网站的访问量交付一定的服务费用，比如每月有2000的访问流量就需要支付19美元/月。Optimizely的收益从2012年3月到2013年3月上涨了400％。这个极大的涨幅让旧金山的风投公司Benchmark投入2800万美金，最后公司总共获得了3100万美金的投资。

Benchmark的合作伙伴Peter Fenton说他当时被这个产品吸引的地方是因为它性价比很高而且操作简单。Fenton说：“宽泛地讲，对于A/B测验而言，潜力就是现在有1％的人意识到网站和公司之间的关系，同时能够根据它展开一系列的策略安排。我们认为这会成为一种趋势。”而这家风投公司之前投资过twitter和Yelp。

Optimizely预备好了继续增长，这个公司现在拥有75个员工，新租了一个有450人的办公空间。春天的时候，Optimizely新增了9个语言的平台，打算拓展欧洲市场，现在它在阿姆斯特丹已经有办公室了。作为一个产品，公司希望它的用户能够在任何时间都获得最精准的适合自身的内容。

Siroker说：“设想一下，如果能够给你的网站每一个访客特定的信息和独特的设计，这是一件多开心的事啊。我们未来的目标就是希望能够将单纯的转化数据变成有组织的以数据为导向的精英理念。” 译| Cross Zheng

A / B测试，即你设计的页面有两个版本（A和B），A为现行的设计， B是新的设计。比较这两个版本之间你所关心的数据（转化率，业绩，跳出率等） ，最后选择效果最好的版本。

A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息来提高转换率。这是一种很有效的方式，并且由于各种分析工具的发展，测试成本也越来越低，因此很多电商网站都会采用。

但是大部分人对于A/B测试只有一个基本的认知，如何将它的效应发挥到最大？本文提供19个建议。

1、减少页面摩擦

页面摩擦就是用户在浏览网页的过程中遇到了一些阻碍，会降低转换率。通常造成页面摩擦的原因有三：

• 信息栏——要求用户填写信息
• 步骤指引——网站地图太复杂
• 长页面——太长的页面会磨掉用户的耐心。

最好的状态是一种“不在场”的状态，就像人的身体一样，没有病痛的时候你不会记得身体的存在。用户用得行云流水，所有的步骤都顺理成章，这才是最好的体验。

2、信息输入焦虑

有的用户不愿意输入太多信息，因为不确定输了那么多信息以后会不会得到应有的回馈（有的人填了一大推信息之后得到一封广告邮件之类的东西，会产生一种被坑的感觉）。越多的信息需要填写，用户流失率就会越高。

但如果用户很明确知道他们的努力可能会换来什么回馈，他们就很乐意按照网页的指引一步一步往下走，也愿意填那些表格。

3、明晰每一个页面的目的

有时候“目标清晰”比什么都重要，回答下面3个问题，你可以省略很多不必要的步骤|：

• 这个页面是什么？让用户清晰地知道他到了哪一个步骤；
• 我可以再这里干什么？让用户一眼看明白这一个页面是为了展示什么；
• 为什么我要在这个页面？要把核心优势直观展示出来。用户不需要去思考在这一页可以干什么，自然也不需要思考为什么要在这一页停留。

用户都很懒，一旦他弄不明白他在哪个网页上可以做什么，他可能马上就关掉那个网页。

4、倾听用户需求

一个B2C的网站，最好是把B和C都找来，听听他们各自的需求，请他们互相提要求。请用户试用网站，并观察他们的使用习惯，这总是有百利而无一害的。

最后，单独留下C，请他们说说更深层的意见，以及他们是如何与网站交互，哪些功能很好，哪些多余等等。

5、定价

对于电商网站来说，定价是一件至关重要的事。消费者除了关心数字，还关心价值，除了数字，还可以在文案、图片上面做工作。一个完美的定价不是一味只考虑便宜，而是要让消费者觉得他占到了便宜。

6、尝试提价

不要想当然地认为价钱便宜就一定会提升销量，反之，价格高也不等于销量少。有的消费者看到价钱便宜的商品会懒得点开看，因为觉得“便宜没好货”，实际上那个商品质量还不错——所以定价要秉着一分货一分钱的原则。

此外，还可以尝试小额的加价。比如一次加2%，看看销售量如何，在消费者承受范围之内再加个2%，小额的加价不会让用户觉得你在漫天要价。

7、测试社交因素

很多产品旁边都有一键分享至社交网站的功能。但是，电商们有真正调查过这些功能会提升还是抑制销量吗？

我看过一个很有意思的调研报告：说是一个祛痘产品的页面因为有了分享功能而减少了25%的销量。毕竟，有的敏感的商品消费者是不愿意和别人分享的（设想一下如果人家买的是杜蕾斯或是什么，你也要他分享到Facebook上吗）。

8、把广告位放低一点

常识可能告诉你广告位越高越显眼就会给目标页面带来更多流量——但是A\B测试通常就是要测那些自以为是常识的东西。

你花了一定的成本获得了一个位置很好的广告位，这个广告为你提升了50%的销量，但实际上这些收益还抵不上你为广告花费的成本。稍微算一算你就知道投入产出比了。这个报告告诉我们：即便你认为是常识的东西，也不妨去做一个A\B测试。

9、测试每一个“黄金准则”

上一条告诉你要测试常识性的东西，这一条还要补充一点：测试看起来是黄金准则的准则。黄金准则之所以黄金，也是因为经过了无数次的测试（那么也不在乎再多倍测试一次），比如标题党会让客户对你的信誉产生质疑，这就是一条黄金准则。

但是，非常时段可以用一些非常方法，如果销售结果总是不如预期，那么你也可以去测一下是不是某条黄金准则出了问题。

10、利用一些工具

如果你需要找到数据变动的原因又不想花太多时间，可以用一些第三方工具，比如Silverback，可以帮你记录用户在网页上的操作并给出有效的数据。

11、时刻记得支撑起转化率的“三只脚”

• 相关性：你的登陆页是否满足用户的预期？你能保持这种风格的连贯性？
• 价值：你能符合用户的价值期待吗？你能给他们想要的东西？
• 应激性：用户知道自己来这个网站要干什么吗？用户知道要怎么操作吗？

 12、试试不同的遣词

微小的网页调整会改变转化率，微小的用词上的改变当然也可以引起不同的结果。比如，“Join Now”和“Buy Now”哪一个更能刺激用户的购买欲？测试一下。同理，整个网页上的文案风格的转变也能造成不同的效果。

13、一个页面只展示一个信息

转化率最高的页面都有一个共同特点：一个页面集中展示一个信息，不要让你的用户感到迷茫，让他们看一眼就知道想干什么可以干什么。

14、测试哪个属性是最吸引的

一个商品有无数个属性，价格、颜色、材质、产地，等等，那一种属性对用户构成最致命的吸引？一个一个地尝试。再一次重申，不要想当然的替消费者决定他们在标题里最想看到的是哪一个，你要测试才知道。

15、连小得变态的细节都不放过

2007年AJ Kohn测试了两个域名www.YourDomain.com和www.yourdomain.com，仅仅是首字母大小写的问题，结果令人大吃一惊：大写的那个点击率比小写的高出53%！这个事件说明有时候你看不上眼的小细节也能造成很不同的后果。

16、完美？No！

有的人想要做出“完美”的登录页面，可是我想告诉你，没有完美的页面，A\B测试的精髓就是让每一次测试的结果都比上次更好。

那句广告语是怎么说的？没有最好，只有更好。

17、寻求成本更低的测试方式

A\B测试不是要让你用最新的技术、最新的软件或者算法，大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你找到方向。好好利用那些简单、低廉的测试方式。

18、等到测试完成

上文里无数次地强调不要想当然，在测试没有结束之前，所有的数据都可能是片面的，不要想着用部分的结果去替代全部。

19、永远不停地测试

A\B测试的精髓就在于：永远不要满足于目前的结果，总有更好的解决方案。一次的A\B测试也许能提升50%甚至更好的转换率，但这并不意味着到顶了。生命不息，测试不止。

网站负责人Chris Goward分享了几个采用最佳实验A/B测试方案导致失败的例子：

促销活动的推广

很有意义的事情，不是吗？把研发的重心都放在取悦消费者而不是留意竞争对手。做“现在购买”标签、库存数量的倒计、建议零售价、限时促销。

它实际上是个很合理的建议，预计也会继续在一些网站上疯狂的流行。但这并适用于每一个网站。

WineExpress测试在网页上方增加一个限时的订单促销活动标语：在预定时间内下单可以获得0.99美元的邮寄优惠，次活动仅在24小时内有效。

这样送货方案结果是转化率掉了7%。

这给出的市场结论是：这些品红酒的行家不是那些团购快枪手，他们对这种激进的促销手段并不是太敏感。

下面的一个测试更加确认了这一点：WiderFunne拿掉了右边的大字“现在促销”信息，转化率反而提高了5%，原始页面的成交金额提高了41%。

对于这个商业领域，也许尝试给这些行内的品酒客户送些储酒的瓶子或杯子这类不激进的做法会更好。（一个概念并不因为他听起来有道理便代表能实际起作用）

遵守网络约定成俗的习惯

仔细浏览一遍互联网零售500强的清单，有超过99.9%的网站都把“加入购物车”的按钮放在右边，这是一个在西方根深蒂固的网页设计。

但这意味着就是最佳的方案么？

研究报告显示，用户的眼球都高度集中到左边的页面上。

把婴儿年龄翻页的图像行动和标语放在左边，转化率提高了16%

不要害怕去挑战传统的设计！

过度的通讯安全

每个人都会担心网上购物的安全，所以你得提醒人们你们是一个安全的网站，对么？

使用安全认证徽章已经帮助无数的网站提高转化率，特别是涉及金融信息的入口，我们已经展示过两个例子是因此而提高4-6%的转化率。

但这不是一个到处通用的条件。

WiderFunnel在这个测试中,没有使用安全密匙。

这实际上取决于网站的情况

有时会安全提示引起人们对网上购物的风险引起的FUD(恐惧,不确定和怀疑)。

这篇文章并不是要告诉大家最佳实践对比不重要，相反应该将网站A/B测试中最佳实践结果放入具体行业性质、地理位置、客户群、产品、网站上下文逻辑中思考。

via：雷锋网

对于Google Website Optimizer的使用其实并没有那么复杂，使用实验的创建向导结合网页的提示和帮助，普通的用户创建自己的实验完全没有问题，只是网站的千差万别可能有很多的细节方面需要注意，或者需要想一些办法让实验过程和监控结果更加有效。所以这里不介绍GWO工具使用本身，我比较感兴趣的其实是实验输出的结果报表，里面涉及对结果的区间预估，测试方案胜出的概率，提升幅度等，这些指标都用统计学的方法计算得到，相比直接比较两组观察值，比较结果更加科学，更具说服力。

首先看下GWO输出的报告，这里用的是A/B测试，如果使用Multivariate Testing（MVT）报告会有细微的差异，但指标及统计逻辑应该是相同的：

我用GWO实现了一个最简单的A/B测试，一个原始版本和一个测试版本，输出的报告主要是比较实验过程中设定的转化率。上方的折线图显示的是原始版本和实验版本的转化率趋势，截至目前的转化情况显示在下方表格的最右侧（Conv./Visitors），从指标名称看，GWO衡量转化率用的是转化的用户数，应该使用Cookie来唯一识别用户（这里仅是在博客新建了几个简单测试页面，所以数据量较小，而转化率相比正常网站都明显偏高）。

所以，这里重点研究了下图中表格红框内的3个指标，看它们是如何计算得到的。

估算转化率

从图中红框1中可以看到Est. conv. rate，GWO报表对目前得到的转化率做了正负区间的预估，进而可以得到目前该版本转化率可能的置信区间（详见前一篇文章——参数估计与置信区间），这里用当前的转化率估计该版本的总体转化率p，进而可以计算得到总体标准差σ= sqrt(p(1-p)/n)，比如这里原始版本的总体标准差约为0.0540，而测试版本的标准差约为0.0647，根据Z_α/2×σ计算得到的上表中正负的7.6%和9.1%，所以我们就可以猜出GWO用的Z_α/2大概为1.4，这个数值我在测试期间接连验证过几次，基本非常稳定，根据Z值表，这个置信区间大概的置信度在84%，也不知道为什么GWO要选择这么个置信度。

红框1的上方我们可以看到GWO根据测试的效果将测试版本分成了三类，分别用绿色表示胜出的测试版本，黄色表示不确定的测试版本，红色表示落败的测试版本。Google仅给出了简单的说明，建议我们可以选择使用显示为绿色的版本，因为它们有很大的可能性（也只是可能）优于原始版本，而显示红色版本建议可以停止测试。具体到指标需要达到怎样的水平才会显示绿色或红色，我没有去验证，有使用经验的或者感兴趣的同学可以去观察下试试。

胜过原始版本的几率

之前在T检验和卡方检验这篇文章介绍过可以使用卡方检验的方法来比较二项分布数据间的概率是否存在显著差异，但卡方检验只能检验差异的显著性，没法直接说明某组样本的概率有多少的几率超过另外一个样本，所以在GWO的报告里面没有使用卡方检验，而使用了单尾Z检验。当样本数量超过30的时候，我们一般会使用Z检验来替代T检验比较两组独立或配对样本间的均值差异，因为这里只是为了证明一组样本概率明显超过另外一组样本的可能性，所以使用了单尾检验。计算Z统计量的公式如下：

根据表格的数据，原始方案和测试方案的转化率均值p分别为78.9%和78.0%，根据公式S²=p(1-p)分别计算两组样本的方差为0.1665和0.1716，而两组样本数n分别为57和41，进而计算得到Z=0.1068，查Z值表可得Z=0.10的概率为46.02%，Z=0.11的概率为45.62%，表中显示的Chance to Beat Orig.=45.9%，介于两者之间，使用的应该是类似的统计方法得到的值，偏差是因为中间精度处理引起的。

观察到的改进

图中红框3的Observed improvement，这个指标需要结合红框1的转化率置信区间来看，结合条形图可以比较清晰地得出结果，看下我用Excel画的展现估算转化率的类似条形图：

这里我用了两条辅助的虚线，如果第一个是原始版本，那么测试版本所有与原始版本转化率预估区间的差异都会用颜色展现，而观察到的改进就是着色区间的转化率差异。比如图中第二个条形的红色区间展现的相应值为-4.2%，而第三个应该是-1.6%+0.6%=-1.0%，即左侧的负值区间加上右侧的正值区间，第四个为2.9%。这样GWO报表中所有指标的计算都可以明确了 

其实，大部分时候我们使用工具来完成分析或测试的过程，也不一定非要了解所有指标最底层的计算逻辑，我们只要知道这些指标的含义及作用，在分析具体问题时合理地使用这些指标就可以。而有些时候我们只能统计得到一些基础数据，所以如何使用这些基础数据得到一些有价值有说服力的分析结论就需要用到一些合适的统计学方法，这也是这篇文章去解读GWO输出报表的原因。

via：：《Google Website Optimizer报告解读》

自Google出现并改变了游戏规则之后，用户对于网页的关注时间一直在下降。对于任何一个时下话题，有千万条结果可以关注，可以抓住访问者注意力的机会非常明显地下降了（2002年，BBC报告指出大约在9秒内）。想象一下你自己浏览网页时的时：你会阅读所有的文字和图片，尝试着彻底了解整个网页内容是什么吗？最有可能的答案是：“不会。”伴随着充斥四周的信息轰炸，我们像被宠坏了的孩子那样，不会投入足够的的注意力去关注一个网页到底想告诉我们什么。

我们快速决定是否关注一个网站时，取决于我们在几毫秒的时间里可以弄清楚多少东西。提供良好的第一印象是设计师和网站所有者的责任。说服访问者的机会非常小，大部分设计（很可能也包括你）将这个作为次要工作，因为大家觉得设计师只关乎美学。然而，大多数的网站并不是是为了给访问者留下深刻印象，大部分的网站是为了销售而存在的。无论它是为了让访问者去订阅博客还是下载一个试用版软件，每一个网站的存在最终都是为了销售某些东西。

在这篇文章中，我们谈谈如何使用科学的办法，使用A/B测试和多变量测试，去为网站创造更多的销售、下载、注册（或达到任何其他商业目标）。与一切和科学相关的东西一样，这篇文章将一步一步地探索并重现那些增加你转化率（客户与访问者的比率）的方法。还有，你可能会对之前发表在这里的一篇文章《终极A/B测试指南》感兴趣。

1. 定义挑战

怎么让网站用户注意到你提供的东西，然后让他们采取行动呢？我想要在我自己个人博客回答那个软件下载黄金页面的问题。这个页面有所有的正确元素：产品名称、产品说明、认证、奖励、得分和一个突出的下载链接。但是，只有40%的访问者下载了这个免费的软件。请注意，这个页面中几乎所有网页流量都是有针对性的，要么是通过google搜索，要么是来源于相关的参考网站。所以，为什么那剩下的60%访问者不下载这个软件呢？修补这个漏洞就是我的挑战。

关键字：清晰定义你网站（或个别网页）的目标

就我而言，所需的操作是让访问者下载这个软件，挑战是让下载率从40%提升到尽可能的高。一些最通常的可以使用A/B测试的挑战有：

• 提高注册率，减少跳出率，提高电子报订阅量。
• 提高从登陆页中收集到的线索数量，提高白皮书或软件试用版的下载量。
• 优化购买和促销，大幅提高从访问者到客户的转化率。

完全有可能的是你的网站必须要满足多种目的。例如，一个博客的挑战是得到更多的订阅量和提高访问者的参与度（根据评论数量）。在那种情况下，最好的策略是是每次解决一个（清晰定义的）挑战。

快速概览：A/B测试。查看详细

2. 假设

下一步是做一个低转换率的假设名单（采取行动的访客的百分比），低转换率很难得出准确结果（这就是为什么我们称他们为假设），但是仍有三个不错的资源可以帮助你：

（1）你：是的，你！ 虽然你很难不爱上自己的网站，但现在是时候进行自我批评了。 试着跟着你的访客走，你的网页所提供的是否足以吸引到一个没有相关知识背景的访客？ 请记住，这不像你，你的游客不会在早上醒来说：“哇，这东西太棒了！” 批判自己的网站是一个很好的改进方法。

（2）网站分析数据：获得改进办法的另一个资源是您的分析工具。 具体来说，提交的资料和搜索的关键字提供了有价值的数据。 例如，有许多访客来到你的网页搜索了你可能没有注意到的关键字。 在这种情况下，访客可能会错误的认为你提供的资源并不是他们正在搜索的东西而离开你的网站， 处理这类案例可以提高转换率。

（3）可用性测试：从可用性测试中获取到的反馈总会令你感到惊讶！ 也许你会发现，游客甚至不知道网页所提供的东西。 在这种情况下，测试可激发行动的颜色和尺寸大小是一个很不错的办法。如果你没有一个大的预算，可以尝试可负担得起的服务如可用性测试或批量反馈。

关键点： 确定哪些因素影响转换率。

从别人那得到的反馈并不能准确的评估你的网站，你可以记下可能会影响转换的想法。 对于我的软件下载网页，我假设下载率下降主要是由于两个原因：1、大多数访客没有注意到下载链接。2、许多访客不知道该软件是免费下载的。

我的猜测正常的访问大概是这样：访问者来到这个网站，看到了一堆文字，四处寻找下载链接，因为某种原因没有找到（可能是由于标题颜色无差异），最后离开网站。另一些注意到下载链接的人可能不想有阅读文本的烦恼，哪里有提示说“… …这是个免费的”，可能他们认为该软件是一个试用版或是一个演示。

你可能有以下步骤的假设：

• 也许你的注册表单是太长，简短的表单将有助于增加注册量？
• 也许你的“免费试用”按钮不明显，大尺寸的下载按钮有助于增加下载量？
• 也许你的标题包含了大量的行业缩写，或是太普通？
• 也许你到达目标的着陆页面没有明显的下一个步骤导致大量的流失率？

3. A/B测试还是多变量测试?

一旦低转化率的原因清单列举完毕，你就要开动脑筋用不同观点去思考这些原因了。你在这一步需要做的就是，用不同的版本去思考上一步罗列出来的那些因素。拿“注册”举例，不同的版本将会是：

• 表单区别：仅有两块的简化表单；不需要电子邮箱地址的表单；多步骤表单；长表单
• 提交按钮区别：“提交”或者“免费注册”或者“立即注册”又或者“现在就注册！”

如果你怀疑这些小区别没法对转化率有任何显著影响，你该去阅读下 37signal的这篇提升注册30%，它只是测试了简单的头条新闻的变化。同样，你也应该去阅读下Dustin Curtis让他的Twitter跟随着增加了173%，仅仅通过改变链接的文字为“你应该在Twitter上跟随我”。

A/B测试
在A/B测试中（也被称为分离测试），你一次只对页面上的一种因素进行比较，这个因素也许是网页中影响转化率的关键（例如按钮颜色、尺寸、广告复制标题）。相比而言，多变量测试是把许多因素同时测试。但是，A/B测试比多维度测试更简单也更容易完成。

多变量测试
在多变量测试中，你要识别页面中影响转换率的不同的区块/因素。这些因素产生的不同变化，从而共同导致了网站的不同版本。多变量测试要得出结果的时间比A/B测试长 ，但是它更有可能得出较好的结果。

关键词：产生变化

推导性测试
再说回那个增加软件页面中下载量的难题，我用我自己的工具，可视化网站优化者，这个为产生的变化提供了一个可视化的界面，但是你也可以使用其他软件。一个显而易见的办法让访客更容易注意到下载链接，就是让下载的区域变成页面中最明显的部分。在网页的设计中，“下载”的标题尺寸和颜色和网页的其他部分溶在了一起，从而导致人们没注意到下载链接。

对于多变量测试 ，我选择了页面里两个因素来制造变化：侧边栏的“下载”标题和它下面的“PDF生产商”下载链接。测试聚焦于“免费”这个词的效果，以及高亮下载区域的效果。以下就是这个测试之后的变化：

对于“下载”标题

• “下载” 用红色
• “免费下载”用红色
• “下载”用默认颜色，但是更大的字体尺寸

对于“PDF生产商”链接

• “PDF生产商”用默认颜色，但是更大的字体尺寸
• “PDF生产商”用红色

在多变量测试中，不同的变化综合导致了不同版本的网页。在这个案例中，结合以上变化，就有了一个共计12（4×3）个的不同版本（自动的），每个版本都有一个“下载”标题以及一个“PDF生产商”链接（变化1是控制了的或者默认的变化）

不同版本的下载区域被使用在多维度测试中

由于定义的原因，我把两个不同区域的变化组合到了一起，因此这个测试就叫做变量测试 。如果我只是在单一的区域做变化，例如“下载”标题，那么这个测试就应该叫“A/B测试”。

关键词：定义测试目标

每个测试都要有个目标，来衡量不同版本的效果。在这个测试中，目标就是下载的次数。其他类型的目标可能是注册数、购买述、点击数、曝光机会、浏览量或者流失率。定义与你商业目标相关的测试目标是非常重要的，例如，一个电子商务商店若要优化其销售，不应该把点击“加入购物车”定义为目标，而应该把购买完成后的“感谢”页面的访问定义为目标。

4. 进行测试并且分析结果

什么是A/B测试或多变量测试呢，很简单：当您的网页有访客时，随机显示一个版本的网页。 换句话说，你的流量平均分布在不同的版本。 各个版本的职能是为测试跟踪指定目标的变化。 例如，在我的情况下，目标是增加下载的数量，每一次访问者下载该软件时，可视化网站尽可能跟踪展示给游客的网页。设置一个使用这个工具的测试在这里可以帮助我做选择，所见即所得编辑器产生的变化，立即浏览到指定目标在这个网页上如何活动。

经过大量访客在不同版本上测试进行比较，看看哪一个是表现最好，又有多少改善。

关键点： 分析结果。

运行了大约4周的测试后，我对我的软件下载测试出了一份结果。 你能猜出哪一种变化的下载量最大？ 有多少改善？ 我是能够实现超过现有的40％的转换率？

屏住呼吸，结果是：

注：％默认的完善的计算公式为 100 *（变化％-控制％）/（控制％）
＃：指上面的截图中所描述的是组合数目。

可信度*：统计上结果的置信水平（不犯错的概率）。

你可以观察到的标题为红色“免费下载”转化率39％升到63％，60％的惊人增长。 有“下载”大字体大小（与链接，红色的组合）也产生了积极的改善（43％）超过默认组合。 所有结果前三名在统计上达到95％或更多的置信水平。看到下载有一个固定的增长，意味着我可以在这网页上安全地执行这些转变。 还要注意，即使是表现最差的组合有大约超过4％的改善，虽然它并不显著。

值得关注的是， 测试结果可能不可靠 ，而且出现的改善可能是由于机会。因此，必须了解不同参数的可靠性影响：

• 浏览人数：访客数量多，测试结果会更可靠。 你可以使用如持续计算的分割测试法，估计您的测试需要多少访客。
• 转换速率：在一般情况下，与转换率高的（比如40-50％）的网页相比。转换率较低的（比如1-2％）网页需要更长的时间才可获得具有统计意义的结果。
• 在性能上的差异：一个在转变行为有很大差异（例如“10％）的测试比一个差异极小（0.5％左右）的测试要可靠得多。

不管你使用的是自动取得可靠性结果的工具，还是使用在线计算器来衡量结果的可信度，这是很重要的一个工具。 使用和执行不可靠的结果实际上会导致性能下降。A/B测试信度分析如何计算可以阅读文章 统计分析和A/B测试，或者我的博客文章 A/B测试的数学运算。

5. 从测试结果中学习

不管页面的优化版本是否被察觉，每一个尝试都会带来很多收获。以下是从我的尝试中得出的若干要点:

• “免费”是一个很吸引人眼球的字眼。如果你提供免费的东西，那可能是在做一个次优的东西，所以不要在页面上太明显。
• 免费广告最好在操作链接的附近展示，举个例子，“免费下载”的广告展示在下载链接的周围。
• 为什么不把“免费”二字设置为可点击？这个问题使我们想到了重要的一点。我敢肯定如果我分析了页面上的链接点击情况，我应该会发现很多用户在点击了“免费下载”的标题后才意外地发现这不是链接。我应该测试一个标题可点击的版本。
• 红色只有结合其他元素例如“免费”（或其他带有引起行动的文字）时，才会引起访客的注意并让他们采取行动。但如果你的文字没有说服力，访客大概不会采用任何行动的。
• 引起行动的文字大小也是影响因素。较大的字体告诉访客这里是需要特别注意的部分。例如。“下载申请”与页面上的其他内容相比更重要。

即使你不记得以上各点，但请务必记住一个关键点：在您的网站没有测试他们的时候不要复制上述建议！

每个网站都是独一无二的，每次转换的目标也是不同的。而一般关于“免费”的影响意见，关于字的红色以及引起行动的文字的大小都是符合逻辑的。但是最明智的做法是创建一个快速测试，确定其效力。

A/B测试在刺激公司的收入和利润方面有很大的潜力。 尽管如此，奇怪的是采用A/B测试的人并不多。如果你还没有做过A/B区别测试，为什么会这样呢？ 如果你之前做的A/B测试或多变量测试，请在下面分享您的经验，以便别人可以了解真实的例子。

原文地址：Smashing Magazine
译文地址：http://isd.tencent.com/?p=2488
译文：电商交互设计组
来源：腾讯博客