【Google Play ASO】Google Play A/B测试的最佳实践与误区

转化率优化及关键词优化是Google Play ASO策略最主要的两个部分。而A/B 测试是提高应用商店转化率的一个绝佳方式。

目前,谷歌和苹果应用商店均提供了对应的免费的工具给开发者及相关营销人员进行A/B测试。本文将主要讲解如何用Google Play 商品详情测试工具 (Google Play Store Listing Experiments) 精心设计和策划A/B 测试,以确保访问者在您的应用商店列表详情页上获得最佳、最令人信服的体验,从而继续下载您的应用及提高转化率。

为了正确在Google Play上运行A/B测试,本文总结了10种运行 A/B 测试的最佳做法及你需要避免的误区。

马上学起来!

1. 什么是 Google Play 商品详情实验?

Google Play 商品详情实测试是 Google 为应用开发者提供的免费工具。开发者可使用该工具测试他们的App在Google Play应用商店详情页上的素材,找到最受用户喜欢的图文组合以提高应用下载转化率。

实验类型

对于每个应用,您在同一时间可以运行一个默认图片实验,或者同时运行多达五个针对特定本地化语言版本的实验。

1. 默认图片实验

通过默认图片实验,您可以对应用的默认语言版本的商品详情图片进行实验。实验对象可以包括应用的图标、置顶大图、屏幕截图和宣传视频的各种变体。

  • 如果您应用的商品详情只有一个语言版本:默认图片实验会向所有用户显示。
  • 如果您添加了某个语言版本的本地化图片资源:系统会从您应用的默认图片实验中排除通过该语言版本查看应用的用户。例如,如果应用的默认语言为英语,而其商品详情中包含一个法语本地化版的置顶大图,那么系统会从该实验中排除通过法语版本查看应用的用户(即使测试的是图标,也不例外)。

实验创建步骤:

  1. 登录Play 管理中心
  2. 选择一个应用程序。
  3. 在左侧菜单中,点击商店发布 > 商品详情实验。
  4. 单击新建实验。
  5. 在“默认图形”下,单击创建。
  6. 设置你的实验。

商品详情实验的效果可以使用首次安装者或一日留存用户指标来衡量。这些指标每小时报告一次,并可选择在实验完成时获取电子邮件通知。

Google Play 商品详情测试

2. 本地化实验(文字和图片)

通过本地化实验,您可以对应用的图标、置顶大图、屏幕截图、宣传视频和/或应用说明进行实验,最多可测试五种语言版本。只有使用您选定的语言查看应用商品详情的用户才会看到实验变体。

如果应用的商品详情只提供了一种语言的版本,那么只有以应用默认语言查看应用的用户才能看到本地化实验。

实验创建步骤:

  1. 登录 Play 管理中心。
  2. 选择一个应用程序。
  3. 在左侧菜单中,点击商店发布 > 商品详情实验。
  4. 单击新建实验。
  5. 在“本地化”下,选择一种语言。
  6. 单击创建。
  7. 设置你的实验。

自定义商品详情页A/B测试

除了以上2种情况外,Google还允许您针对自定义商品详情页运行A/B测试。借助自定义商品详情,您可以量身打造应用的商品详情,从而吸引所选国家/地区的特定用户细分群体。

您同样可以针对自定义商品详情页同时运行最多5个实验。但值得注意的是,您可以在自定义商品详情上运行实验,同时还可以在全球范围内对主要商品详情进行实时实验

10个Google Play A/B 测试最佳做法

1. 提出假设,确定测试目的

很多营销人员的测试动机和测试目的很是简单粗暴。他们常常以提高转化率为目的进行a/b测试, 但这样的目的通常不是一个“有效的”的实验目的。

一般来说,a/b测试应该从一个假设开始。例如, “如果我们将应用程序的图标从红色更改为绿色,我们将提高5%的转化率,因为中东用户更喜爱绿色。”在这个例子中,这个假设有助于我们将测试范围缩小到应用图标,而不是对整个应用详情页进行大修。而这个假设的测试目的则是对应图标颜色的改变这个因素是否能有效提升转化率。

但现实中,除了“提高转化率”这个终极目标外,很多ASO优化师根本不去思考他们为什么进行测试。测试的目前的验证想法,一步一步找到提高转化的方法,而不是一步到位地直达转化率提高。

2. 确定目标受众并正确选择目标受众

应用商店实验需要流量才能获得具有统计意义的结果。但它背后的不仅仅是数字 – 他们是真实接触您的应用的用户,测试结果是用户与应用“交流”的结果。那么,选择让正确的人看到你的测试变得至关重要。然而,在现实中,我们常常让错误的人看到我们的测试版本。

例如,很多应用或游戏开发者将“EN-US”设置为主要语言 (默认语言),然后他们错误地认为在为该语言创建本地化实验时,他们的目标受众是美国人。当您仅在美国发布您的应用或为美国采用自定义商品详情页的时候,这是真的。然而,如果您在全球推广您的应用的时候,情况就变得复杂得多 – 您的目标受众可能不仅有美国人,还有英国人,印度人,菲律宾人等很多其他国家的人。

再比如,如果你为“French (France) – fr-FR”设置了一个本地化实验,你的用户可能不仅来自法国,还可能来自许多其他法语被广泛使用的国家。如果您想针对特定国家和特定语言的受众,您可以创建“自定义商品详情”并为该详情运行 A/B 测试。

在同一种语言中,有时您的应用可能会接触到来自不同国家、具有不同文化背景的不同受众。您应该在启动测试之前确定您的目标受众。确保您的测试与您的目标受众很好地匹配。

3. 尽量不要在全球范围内测试

如果您在多个国家/地区发布您的应用或游戏,那么您应该本地化您的应用商店列表并惊醒本地化实验。

由于语言及文化背景的不同,不同国家/地区的用户会对相同的文字/图片/视频产生不同的反应 – 大部分时候你都很难找到适合世界各地人们都喜爱元素。

4. 测试优先级:视觉优于文字

应用商店详情页中不同元素对转化率有不同的影响。由于时间和资源有限,我们必须优先测试最有价值的元素。

根据我的个人经验及业内专家意见,大家基本都同意视觉元素(图标、置顶大图、屏幕截图和宣传视频)对转化率的影响力大于文本(长描述和短描述)。因此,一般情况下,您应该优先测试视觉元素。

5. 一次只测试一个元素

A/B测试看起来简单,但在实际操作中,却有很多“坑”防不胜防。如果操作不当, 你就很难锁定影响你的app转化率的因素到底是什么。

例如,如果您想测试哪个功能最能吸引您的用户,您可以将不同功能的屏幕截图顺序更改为您的第一个屏幕截图。但是,您不应同时更改屏幕截图的顺序和截图中的设计元素。否则,您就无法判断到底是应用功能吸引了用户还是截图设计吸引了用户。

6. 确保足够的样本量

较低的流量意味着难以较快获得有统计意义的数据。如果你的App流量不够大,建议只新增一种变体并设置50%的百分比, 而不要在这种情况下采取给原版本分配90%的流量,给测试变体只分配10%的流量。

有些人声称1000或2000个用户足以进行测试。但以我个人经验而言,当每个变体的安装至少达到10000以上且测试持续一周以上时,测试结果开始逐步趋于稳定。

测试样本量

因此,为了使测试效率更高及测试结果更准确,你应该确保你的测试有足够的受众。如果你的应用每日下载量过低,你可以通过延长测试天数获得足够的统计数据。

您还可以使用一些样本量计算器来计算您需要多少用户才能从实验中获得所需的结果。

A/B测试样本数量计算器

7.测试至少持续一周

每次您运行实验时,Google Play一般会在几天后告诉您实验完成。如果您每天有大量访问者,您甚至可以在 24 小时后获得结果。

很多开发者或营销人员在快速获得积极的测试结果后都迫不及待地“应用”,甚至会想“这样我们可以在一个月内测试很多的想法并得出很多重要的结论了”。

这种心情和想法都是可以理解的。作为开发者或营销人员,我们都渴望快速找到有效的方法并应用它们,这样我们就可以立即提高下载转化率并获得更多的应用安装了。然而,有时候这种“匆匆忙忙”的测试会把你带坑里去。

Google建议至少将测试持续7天。运行一周可以让您捕捉用户在工作日和周末的不同行为,确保测试结果不会受工作日或周末、季节性活动、假期、市场波动等的影响。实验的运行时间越久,收集的数据越多,变体的效果范围就越窄、越准确。

当然,如果您的测试连续三天带来很明显的负面结果,则可以直接停止测试。毕竟不好的变体会拉低总体的转化率,特别是在App流量较大的情况下,损失会更大。

8. 运行A/B/B、A/A或B/A测试

Google Play 商店实验都依赖于90% 置信区间的统计模型,这低于大多数 A/B 测试中使用的95% 置信区间的标准。

当给出某个估计值的90%置信区间为【a,b】时,可以理解为我们有90%的信心(Confidence)可以说样本的平均值介于a到b之间,而发生错误的概率为10%。 

10%的误差影响较大,这就是为什么您应该运行A/A/B/B类测试的原因。在测试中创建两个相同的B变体将有助于您评估实验结果的可信度:如果这个两个B样本提供相似的结果,那么结果的可信度将大幅提高;而如果它们有不同的结果,则结果可信度将大幅降低。

9. 不要将Google Play的获胜测试应用在Apple App Store

为提高效率,减少测试次数及时间,有部分营销人员将Google Play的测试结果应用在App Store中。这是一个风险较大的行为。

我们必须承认,iOS和Android的用户不同,对应用的期望和态度不同,这使得他们的下载意图和习惯有所不同。此外,Google Play和App Store展示应用的方式的大为不同,在Google Play上看起来很突出的元素,在App Store上可能就很难被注意到。

因此,您不应在 App Store上应用 Google Play中获胜的测试结果。

10. 在测试取得正向结果后继续观察应用下载受到的实际影响

即使A/B测试的实验结果表明测试变体的表现更好,它的实际表现仍有可能不同,尤其是测试结果存在红绿区间的情况下。

因此,在得出正向的测试结果并应用后,请密切关注您的应用安装受到的实际影响。真正的影响可能与您的预期有很大不同。

您还需要继续测试置顶大图吗?

自2018年Google Play应用商店改版以来,置顶大图不再出现在应用详情页顶部。当然,如果您的应用详情页有宣传视频,则您的置顶大图将被用作该视频的封面。这种情况下,用户仍可在应用商店详情页看到置顶大图。

那么,对于在Play商店中未包含视频的应用,我们是否仍需对置顶大图进行A/B测试?

许多ASO优化师认为我们仍有理由这样做。因为置顶大图也可以展示在Play商店的广告版位及“推荐”应用版位中。

但是,在我看在,我们可以对置顶大图进行A/B测试,但如果我们用Google Play商品详情实验对没有视频宣传的应用进行置顶大图A/B测试则意义不大。因为在这种情况下,任何进来的用户都不能在商店详情页看见置顶大图。我们又如何能够测试用户根本看不见的东西呢?

总结:您可以信任Google Play A/B测试的结果吗?

总体而言,Google Play 商品详情页实验仍然是ASO优化师们最常用的A/B测试渠道;针对实验结果,我们可以部分地相信。

如果您已经在Google Play中进行一些A/A、B/A、A/B//B类型的测试,可能您已经发现,有时完全相同的实验有不同的结果。在下面的例子中,我们就可以看到,针对完全相同的应用图标,各个测试结果之间的差别是比较大的;着时间的拉长,这种差别被进一步放大。

Same Icon Test
Same Icon Test

导致这种情况的因素主要有3个:

  1. 样本量太小。如上图所示,测试中样本的用户量均低于1000,不利于得出有效结论。
  2. 用户下载行为在一周中的不同日子可能会有很大差异。如,在周末,人们可能更愿意下载一个新应用,而不关心它的图标或屏幕截图。一些开发人员运行测试的时间少于 7 天,因此他们更有可能得到错误的结果。
  3. Google Play商品详情实验的置信度本身只有90%,则测试结果的可信度为90%。这意味着本身就有10%的可能测试结果是不可信的。此外,由于至目前我们仍无法确认Google Play到底是如何“分配”样本的,以及用户到达商店详情页后到底是如何进行互动的,那么我们对测试结果的疑虑则会进一步加深。

那么,如何提高 Google Play 实验的可信度呢?–严格遵循本文中提到的一些Google Play A/B测试中的最佳时间能有效地提高您的实验结果的可信度。

此外,必须承认的是,在绝大多数开发团队中,A/B测试的策略都是碎片化、低效、和短期的。我希望各位开发者及营销人员能有计划、更多次地在Google Play进行A/B测试累积经验,分享经验,帮助应用更高效地获客。

Leave a Comment

您的电子邮箱地址不会被公开。

error: Content is protected !!