苹果App Store A/B测试设置全流程,请收好 !
转化率优化是应用商店优化过程中的基础。推广及开发人员可以通过多种方式优化应用商店内的图片、视频或文案以提高下载转化率,而A/B测试是最可靠的方法之一。
对于 Google Play,自2015年5月起,开发者就可以通过Google Play Experiments 进行A/B测试。
而在望眼欲穿后,从2022年1月25日起,苹果应用商店的开发者和推广者们也终于可以通过产品页面优化 (PPO) 功能在App Store进行A/B测试。
在之前的文章中,我已详细介绍了Google Play A/B测试的最佳实践。在本文中,我将全面介绍苹果App Store的【产品页优化(A/B测试)】功能以及手把手教您如何在App Store成功开启第一个A/B测试。
Contents
什么是【产品页优化(Product Page Optimization, PPO)】功能?
苹果于2021 年 7 月 7 日在Apple 全球开发者大会上首次公布【产品页优化(Product Page Optimization)】。 它允许开发者比较 App Store 产品页上不同的 App 图标、截屏和 App 预览,从而了解哪些元素带来的用户参与度最高。
除了原始产品页以外,您可以测试最多三个其他产品页版本,每次测试最长运行时间为90天。
在 iOS 15 和 iPadOS 15 或更高版本上,您的产品页的备选版本 (称为“备选方案”) 会向随机选择的一定比例的用户进行展示。在您的测试期间,看到特定备选方案的用户将在整个 App Store 中看到相同的备选方案。如果用户从具有备选 App 图标的备选方案中下载了您的 App,该图标也会显示在他们的设备上。与您的原始产品页一样,您的备选方案中的元数据可以出现在“Today”、“游戏”和“App”标签页中,也可以出现在搜索结果中。
通过 App Store Connect 中的“App 分析”,您可以了解测试效果对于每种备选方案,“App 分析”都会显示展示次数、转化率、提升百分比和置信度,并与您选择的基准相对比。默认情况下,基准是您的原始产品页。如果您的测试包括多个备选方案,您可以通过随时更改基准来比较它们的效果。
如何配置和启动您在App Store的第一个A/B测试?
步骤 #1. 在 App Store Connect 左侧边栏中的“功能”下,点按“产品页优化”。
步骤 #2. 如果这是您第一次创建测试,请点按“创建测试”。若已创建过测试,您可以直接点按“产品页优化”旁边的添加按钮(+)。
步骤 #3. 输入参考名称。对您的测试命名,最多使用 64 个字符。最好包含具体的描述,这样您就可以在“App 分析”中查看结果时轻松识别您的测试。
步骤 #4. 选择您要创建的测试方案数量。每次测试最多可以设置三个变体。请注意,在测试中添加的变体越多,得出结论性结果所需的时间就越长。
步骤 #5. 选择流量比例,即 App Store 应随机向多少比例的用户显示测试变体,而非显示原始产品页。例如,在一次测试中有三个测试方案,您选择了 75% 的流量比例,则所有访问您 App 产品页的用户中会有 75% 看到测试变体,而每个变体将各分得 25% 的流量。如果您的应用流量比较小,请尽可能减少测试方案数量,以便能尽快得出测试结果。
步骤 #6. 选择本次测试涉及的本地化语言。此项默认选中您 App 支持的所有语言。对于您未在测试中包含的语言,该语言的 App Store 将不会显示产品页的测试方案。请确保每种语言仅运行仅运行一个测试。如果您针对多个语言环境进行测试,您将无法在最后的报告中区分它们的表现。
步骤 #7. 您还可以点按“估计测试时长”旁边的箭头,然后选择产品页转化率的提升目标,即可查看实现此目标预计所需的时长和展示次数。这两个值基于 App 当前的表现数据(例如每日展示次数和新增下载量)估算得出,仅供参考,不会影响测试。测试的默认时长为 90 天,但您也可以选择提前终止测试。有时90天并不足以得出测试结论。如果估算天数超过 90 天,您可能需要更改您的标准,例如,创建更少的备选方案或增加流量分配。
步骤 #8. 点击“创建测试”。创建测试时,系统会自动复制原始产品页的元数据。您可以编辑测试方案中的 App 图标、截屏和预览。对于您未作更改的内容,系统默认使用原始产品页中相应的素材。在创建测试的过程中,请记住迭代测试的重要性。您应该限制一次更改的元素数量,以便您可以轻松识别影响转化率的因素。
步骤 #9. 发布测试。在发布您的测试之前,您的测试方案中包含的任何新元数据都必须经过 App Review 的审核。
- 只包含备选截屏和 App 预览的测试方案可以单独提交审核,而无需提交新的 App 版本。
- 如果您只是更改当前已发布至 App Store 的截屏或预览的顺序,或者只更换 App 图标,则您无需重新提交审核,因为这些元数据此前已通过审核。
- 要测试任何备选 App 图标,您的图标的所有变体都必须包含在您发布的 App 的二进制文件中,并且必须使用 Xcode 13 或更高版本构建。
步骤 #10. 查看数据分析。您可以在测试开始后的第二天查看效果指标。在“App 分析”中,您可以看到每个版本的展示次数、转化率、提升百分比和置信度。
步骤 #11. 应用测试方案
如果您的某一个测试版本能显著提高转化率,则您可以点击“将处理方案应用至原始产品页”。
您可以随时将一个测试方案应用到您 App 当前在 App Store 上的产品页,也可以应用到处于“可供销售”或“准备提交”状态的 App 版本。每次测试中可以应用一个测试方案,且应用后无法撤销。请注意,您选择应用处理方案后,只有该方案中的 App 预览和截屏会被应用到产品页。如需应用处理方案中的 App 图标,请在下一个 App 版本中将该图标设置为默认图标。
iOS 产品页优化(A/B测试)与 Google Play 实验有何不同?
苹果的的产品页优化与 Google Play的商品详情实验之间存在一些差异,主要有以下几点:
1. 测试内容不同
在App Store中,您仅可以测试应用图标,截图以及视频3种元素,而Google Play还允许您测试简短描述、详细描述以及置顶大图。
2. 同时可进行的测试数量不同
目前,您在App Store中一次只能运行一个测试,而在Google Play中,一次最多可同时运行5个测试 (加上自定义页面的测试则最多可达到10个)。
3. 测试流程不同
在App Store中,用于测试的新素材需要通过苹果的审核; 而在 Google Play 中,您可以立即运行测试。
4. 置信度不同
在App Store中进行测试,至少有90%的置信度才能给出至少有一种测试方案的效果优于或劣于基准,且实际上,随着时间的推移,您可以等待直到置信度达到95%以上;而在Google Play中,给出的置信度就是90%,您永远无法知道随着时间的推移置信度是否有所提高。而90%的置信度是远远不够的。
Apple 使用贝叶斯统计方法,您可以在此处了解他们的研究。而目前,Google Play尚未公开其在测试中使用的分流机制及统计方法。
App Store的产品页优化(A/B测试)有哪些局限?
相比Google Play的A/B测试工具,App Store的A/B测试的局限也是比较多的,很多ASO专业人士在使用后也难免感到失望。
以下是App Store的A/B测试工具局限性的示例:
- 在给定时间内只能运行一个测试
- 如果您提交新的应用更新,您的测试将自动停止且后续无法直接重新启动
- 如果您在多个本地化版本中运行测试,则无法在 App Analytics中的报告中区分它们
- 当您的应用内事件 (IAP) 仍在审核中时,您不能提交测试(如果测试当前正在运行,提交 IAP 将停止您的测试)
对于一款备受期待的产品,所有这些限制都是令人失望的。主要问题之一在于,如果您提交新的应用版本,正在运行的测试将自动停止。要提高A/B测试结果的准确性,一般情况下,我们需要足够长的时间。但是,我们的应用可能每周或每两周会更新一次。在这么短的时间里,除了一些用户量很大的应用或游戏,大部分其他应用都不能得到可靠的A/B测试结果。
最后
作为推广人员,当听说可以在App Store进行原生的A/B测试时,可以说是“欢天喜地”。但在实际使用中,苹果商店A/B测试工具的种种局限,又像是被泼了一盆冷水。
但总体来说,只要您计划得当并了解您的测试目标,利用PPO进行A/B测试还是能帮助我们不断提高应用转化率的。
如果您有任何疑问,也欢迎通过邮件与我联系探讨。
关注微信公众号,快速获得一手教程!