【Google Play ASO】Google Play A/B测试的最佳实践与误区
转化率优化及关键词优化是Google Play ASO策略最主要的两个部分。而A/B 测试是提高应用商店转化率的一个绝佳方式。
目前，谷歌和苹果应用商店均提供了对应的免费的工具给开发者及相关营销人员进行A/B测试。本文将主要讲解如何用Google Play 商品详情测试工具 (Google Play Store Listing Experiments) 精心设计和策划A/B 测试，以确保访问者在您的应用商店列表详情页上获得最佳、最令人信服的体验，从而继续下载您的应用及提高转化率。
为了正确在Google Play上运行A/B测试，本文总结了12种运行 A/B 测试的最佳做法及您需要避免的误区。
马上学起来！
1. 什么是 Google Play 商品详情实验？
Google Play 商品详情实验测试是 Google 为应用开发者提供的免费工具。开发者可使用该工具测试他们的App在Google Play应用商店详情页上的素材，找到最受用户喜欢的图文组合以提高应用下载转化率。
实验类型
对于每个应用，您在同一时间可以运行一个默认图片实验，或者同时运行多达五个针对特定本地化语言版本的实验。
1. 默认图片实验
通过默认图片实验，您可以对应用的默认语言版本的商品详情图片进行实验。实验对象可以包括应用的图标、置顶大图、屏幕截图和宣传视频的各种变体。
- 如果您应用的商品详情只有一个语言版本：默认图片实验会向所有用户显示。
- 如果您添加了某个语言版本的本地化图片资源：系统会从您应用的默认图片实验中排除通过该语言版本查看应用的用户。例如，如果应用的默认语言为英语，而其商品详情中包含一个法语本地化版的置顶大图，那么系统会从该实验中排除通过法语版本查看应用的用户（即使测试的是图标，也不例外）。
实验创建步骤：
- 登录Play 管理中心。
- 选择一个应用程序。
- 在左侧菜单中，点击商店发布 > 商品详情实验。
- 单击新建实验。
- 在“默认图形”下，单击创建。
- 设置您的实验。
商品详情实验的效果可以使用首次安装者或一日留存用户指标来衡量。这些指标每小时报告一次，并可选择在实验完成时获取电子邮件通知。
2. 本地化实验（文字和图片）
通过本地化实验，您可以对应用的图标、置顶大图、屏幕截图、宣传视频和/或应用说明进行实验，最多可测试五种语言版本。只有使用您选定的语言查看应用商品详情的用户才会看到实验变体。
如果应用的商品详情只提供了一种语言的版本，那么只有以应用默认语言查看应用的用户才能看到本地化实验。
实验创建步骤：
- 登录 Play 管理中心。
- 选择一个应用程序。
- 在左侧菜单中，点击商店发布 > 商品详情实验。
- 单击新建实验。
- 在“本地化”下，选择一种语言。
- 单击创建。
- 设置您的实验。
3. 自定义商品详情页A/B测试
除了以上2种情况外，Google还允许您针对自定义商品详情页运行A/B测试。借助自定义商品详情，您可以量身打造应用的商品详情，从而吸引所选国家/地区的特定用户细分群体。
您可以针对自定义商品详情页同时运行最多50个实验。但值得注意的是，您可以在自定义商品详情上运行实验，同时还可以在全球范围内对主要商品详情进行实时实验。
从下图中，我们可以看到，在自定义商品详情页中，我们可以根据用户所在的国家/地区或用户的来源渠道对特定用户设置商店页。
12个Google Play A/B 测试最佳做法
1. 提出假设，确定测试目的
很多营销人员的测试动机和测试目的很是简单粗暴。他们常常以提高转化率为目的进行a/b测试, 但这样的目的通常不是一个“有效的”的实验目的。
一般来说，a/b测试应该从一个假设开始。例如, “如果我们将应用的图标从红色更改为绿色，我们将提高5%的转化率，因为中东用户更喜爱绿色。”在这个例子中，这个假设有助于我们将测试范围缩小到应用图标，而不是对整个应用详情页进行大修。而这个假设的测试目的则是对应图标颜色的改变这个因素是否能有效提升转化率。
但现实中，除了“提高转化率”这个终极目标外，很多ASO优化师根本不去思考他们为什么进行测试。测试的目的是验证想法，一步一步找到提高转化的方法，而不是一步到位地直达转化率提高。
2. 确定目标受众并正确选择目标受众
应用商店实验需要流量才能获得具有统计意义的结果。但它背后的不仅仅是数字 – 他们是真实接触您的应用的用户，测试结果是用户与应用“交流”的结果。那么，选择让正确的人看到您的测试变得至关重要。
然而，在现实中，我们常常让错误的人看到我们的测试版本。
例如，很多应用或游戏开发者将“EN-US”设置为主要语言 （默认语言），然后他们错误地认为在为该语言创建本地化实验时，他们的目标受众是美国人。当您仅在美国发布您的应用或为美国采用自定义商品详情页的时候，这是真的。然而，如果您在全球推广您的应用的时候，情况就变得复杂得多 – 您的目标受众可能不仅有美国人，还有英国人，印度人，菲律宾人等很多其他国家的人。
再比如，如果您为“French (France) – fr-FR”设置了一个本地化实验，您的用户可能不仅来自法国，还可能来自许多其他法语被广泛使用的国家。如果您想针对特定国家和特定语言的受众，您可以创建“自定义商品详情”并为该详情运行 A/B 测试。
在同一种语言中，有时您的应用可能会接触到来自不同国家、具有不同文化背景的不同受众。您应该在启动测试之前确定您的目标受众。确保您的测试与您的目标受众很好地匹配。
3. 尽量不要在全球范围内测试
如果您在多个国家/地区发布您的应用或游戏，那么您应该本地化您的应用商店列表并进行本地化实验。
由于语言及文化背景的不同，不同国家/地区的用户会对相同的文字/图片/视频产生不同的反应 – 大部分时候您都很难找到适合世界各地人们都喜爱元素。
4. 测试优先级：视觉优于文字
应用商店详情页中不同元素对转化率有不同的影响。由于时间和资源有限，我们必须优先测试最有价值的元素。
根据我的个人经验及业内专家意见，大家基本都同意视觉元素（图标、置顶大图、屏幕截图和宣传视频）对转化率的影响力大于文本（长描述和短描述）。因此，一般情况下，您应该优先测试视觉元素。
5. 一次只测试一个元素
A/B测试看起来简单，但在实际操作中，却有很多“坑”防不胜防。如果操作不当, 您就很难锁定影响您的App转化率的因素到底是什么。
例如，如果您想测试哪个功能最能吸引您的用户，您可以将不同功能的屏幕截图顺序更改为您的第一个屏幕截图。但是，您不应同时更改屏幕截图的顺序和截图中的设计元素。否则，您就无法判断到底是应用功能吸引了用户还是截图设计吸引了用户。
6. 确保足够的样本量
较低的流量意味着难以较快获得有统计意义的数据。如果您的App流量不够大，建议只新增一种变体并设置50%的百分比，而不要在这种情况下采取给原版本分配90%的流量，给测试变体只分配10%的流量。
有些人声称1000或2000个用户足以进行测试。但以我个人经验而言，当每个变体的安装至少达到10000以上且测试持续一周以上时，测试结果开始逐步趋于稳定。
因此，为了使测试效率更高及测试结果更准确，您应该确保您的测试有足够的受众。如果您的应用每日下载量过低，您可以通过延长测试天数获得足够的统计数据。
为让开发者获得更多的控制权和更详实的统计数据，Google最近在 Play 管理中心内对商品详情实验添加了三项新功能：
- 实验参数配置；
- 可估算所需样本和完成时间的计算器；
- 现在可实现持续监控实验的置信区间。
这对 ASO 从业者来说是一个振奋人心的消息，并且受到了好评。ASO 从业者将不再需要第三方工具计算测试所需的样本量。
7. 尽可能选择更高的置信度
以前，Google Play的测试默认的置信度是90% —— 这在ASO从业人员中臭名昭著。因为90%的置信度代表着10%的误差，这个误差太大了。而一般A/B测试的置信度应该在95%以上。
幸运的是，目前Google已经允许您在90%至99%的置信度之间进行选择。很显然，越高的置信度越能降低误误报的几率。然而，虽然最好有更高的置信水平，但如果您选择 99%，您的测试将运行比平时更长的时间。 但无论如何，我希望您至少选择95%以上的置信度。
在下面的例子中，我们也可以知道，如果你选择99%的置信度，那么所需的样本量是90%置信度的2倍以上。仅限于我本人的观点，在条件许可的情况下，应尽量选择更高的置信度。毕竟如果更低的置信度导致了测试结果不可信，那么这些测试对我们的业务是毫无帮助的。
8. 最小可检测效果 (MDE)
最小可检测效果 (MDE) 是另一个新功能，有助于减少 A/B 测试中的误报。Google将 MDE 定义为“变体与对照组之间的差异至少要达到该值，才能确定哪一组效果更好。如果实际差异低于此值，您的实验将被视为平局。”
例如，如果您将 MDE 设置为 5%，而您的应用原版本转化率为 45%，您的变体将需要至少47.25% 的转化率才能被宣布为获胜者 (45% x 1.05% = 47.25%)。
您目前可以选择介于 0.5% 和 6% 之间的 MDE。MDE 越小，检测变化所需的样本量就越大。如果您的应用是新应用并且没有获得很多安装，我们建议您将 MDE 设置得更高，因为所需的样本量会更小。如果您有更成熟的应用并且有大量下载，我们建议设置较低的 MDE 以获得更精确的结果。
9. 测试至少持续一周
每次您运行实验时，Google Play一般会在几天后告诉您实验完成。如果您每天有大量访问者，您甚至可以在 24 小时后获得结果。
很多开发者或营销人员在快速获得积极的测试结果后都迫不及待地“应用”，甚至会想“这样我们可以在一个月内测试很多的想法并得出很多重要的结论了”。
这种心情和想法都是可以理解的。作为开发者或营销人员，我们都渴望快速找到有效的方法并应用它们，这样我们就可以立即提高下载转化率并获得更多的应用安装了。然而，有时候这种“匆匆忙忙”的测试会把您带坑里去。
Google建议至少将测试持续7天。运行一周可以让您捕捉用户在工作日和周末的不同行为，确保测试结果不会受工作日或周末、季节性活动、假期、市场波动等的影响。实验的运行时间越久，收集的数据越多，变体的效果范围就越窄、越准确。
当然，如果您的测试连续三天带来很明显的负面结果，则可以直接停止测试。毕竟不好的变体会拉低总体的转化率，特别是在App流量较大的情况下，损失会更大。
10. 不要将Google Play的获胜测试应用在Apple App Store
为提高效率，减少测试次数及时间，有部分营销人员将Google Play的测试结果应用在App Store中。这是一个风险较大的行为。
我们必须承认，iOS和Android的用户不同，对应用的期望和态度不同，这使得他们的下载意图和习惯有所不同。此外，Google Play和App Store展示应用的方式的大为不同，在Google Play上看起来很突出的元素，在App Store上可能就很难被注意到。
因此，您不应在 App Store上应用 Google Play中获胜的测试结果。
11. 在测试取得正向结果后继续观察应用下载受到的实际影响
即使A/B测试的实验结果表明测试变体的表现更好，它的实际表现仍有可能不同，尤其是测试结果存在红绿区间的情况下。
因此，在得出正向的测试结果并应用后，请密切关注您的应用安装受到的实际影响。真正的影响可能与您的预期有很大不同。
我们需要的注意的是，很多人可能会观察到应用正向的测试结果后一周内，应用下载也确实有增长，因此认为测试结果有效。实际上，应用的下载受多方面的影响，例如买量和自然量之间会互相影响。因此，除了观察安装外，我建议再找一些流量比较稳定的渠道观察实际下载转化率的变化。
12. 按需测试置顶大图
自2018年Google Play应用商店改版以来，置顶大图不再出现在应用详情页顶部。当然，如果您的应用详情页有宣传视频，则您的置顶大图将被用作该视频的封面。这种情况下，用户仍可在应用商店详情页看到置顶大图。
那么，对于在Play商店中未包含视频的应用，我们是否仍需对置顶大图进行A/B测试？
许多ASO优化师认为我们仍有理由这样做。因为置顶大图也可以展示在Play商店的广告版位及“推荐”应用版位中。
但是，在我看在，我们可以对置顶大图进行A/B测试，但如果我们用Google Play商品详情实验对没有视频宣传的应用进行置顶大图A/B测试则意义不大。因为在这种情况下，任何进来的用户都不能在商店详情页看见置顶大图。我们又如何能够测试用户根本看不见的东西呢？
总结：您可以信任Google Play A/B测试的结果吗？
总体而言,Google Play 商品详情页实验仍然是ASO优化师们最常用的A/B测试渠道；针对实验结果，我们可以部分地相信。
如果您已经在Google Play中进行一些A/A、B/A、A/B//B类型的测试，可能您已经发现，有时完全相同的实验有不同的结果。在下面的例子中，我们就可以看到，针对完全相同的应用图标，各个测试结果之间的差别是比较大的；随着时间的拉长，这种差别被进一步放大。
导致这种情况的因素主要有4个：
- 样本量太小。如上图所示，每个测试中样本的用户量均低于1000，不利于得出有效结论。
- 用户下载行为在一周中的不同日子可能会有很大差异。如，在周末，人们可能更愿意下载一个新应用，而不关心它的图标或屏幕截图。一些开发人员运行测试的时间少于 7 天，因此他们更有可能得到错误的结果。
- Google Play商品详情实验设置的置信度较低（90%），则测试结果的可信度为90%，这意味着本身就有10%的可能测试结果是不可信的。
- 由于截至目前我们仍无法确认Google Play到底是如何“分配”样本的，以及用户到达商店详情页后到底是如何进行互动的，那么我们对测试结果的疑虑则会进一步加深。
那么，如何提高 Google Play 实验的可信度呢？|—— 严格遵循本文中提到的一些Google Play A/B测试中的最佳实践能有效地提高您的实验结果的可信度。
此外，必须承认的是，在绝大多数开发团队中，A/B测试的策略都是碎片化、低效、和短期的。我希望各位开发者及营销人员能有计划、更多次地在Google Play进行A/B测试累积经验，分享经验，帮助应用更高效地获客。
关注微信公众号，获得更多海外ASO指南！
