【Google Play ASO】Google Play A/B測試的最佳實踐與誤區
轉化率優化及關鍵字優化是Google Play ASO策略最主要的兩個部分。而A/B 測試是提高應用商店轉化率的一個絕佳方式。
目前，谷歌和蘋果應用商店均提供了對應的免費的工具給開發者及相關行銷人員進行A/B測試。本文將主要講解如何用Google Play 商品詳情測試工具 (Google Play Store Listing Experiments) 精心設計和策劃A/B 測試，以確保訪問者在您的應用商店列表詳情頁上獲得最佳、最令人信服的體驗，從而繼續下載您的應用及提高轉化率。
為了正確在Google Play上運行A/B測試，本文總結了10種運行 A/B 測試的最佳做法及您需要避免的誤區。
馬上學起來！
Contents
1. 什麼是 Google Play 商品詳情實驗？
Google Play 商品詳情實驗測試是 Google 為應用開發者提供的免費工具。開發者可使用該工具測試他們的App在Google Play應用商店詳情頁上的素材，找到最受使用者喜歡的圖文組合以提高應用下載轉化率。
實驗類型
對於每個應用，您在同一時間可以運行一個預設圖片實驗，或者同時運行多達五個針對特定當地語系化語言版本的實驗。
1. 預設圖片實驗
通過預設圖片實驗，您可以對應用的預設語言版本的商品詳情圖片進行實驗。實驗物件可以包括應用的圖示、置頂大圖、螢幕截圖和宣傳視頻的各種變體。
- 如果您應用的商品詳情只有一個語言版本：預設圖片實驗會向所有使用者顯示。
- 如果您添加了某個語言版本的當地語系化圖片資源：系統會從您應用的預設圖片實驗中排除通過該語言版本查看應用的使用者。例如，如果應用的預設語言為英語，而其商品詳情中包含一個法語當地語系化版的置頂大圖，那麼系統會從該實驗中排除通過法語版本查看應用的用戶（即使測試的是圖示，也不例外）。
實驗創建步驟：
- 登錄Play 管理中心。
- 選擇一個應用程式。
- 在左側菜單中，點擊商店發佈 > 商品詳情實驗。
- 按一下新建實驗。
- 在“預設圖形”下，按一下創建。
- 設置您的實驗。
商品詳情實驗的效果可以使用首次安裝者或一日留存用戶指標來衡量。這些指標每小時報告一次，並可選擇在實驗完成時獲取電子郵件通知。
2. 當地語系化實驗（文字和圖片）
通過當地語系化實驗，您可以對應用的圖示、置頂大圖、螢幕截圖、宣傳視頻和/或應用說明進行實驗，最多可測試五種語言版本。只有使用您選定的語言查看應用商品詳情的用戶才會看到實驗變體。
如果應用的商品詳情只提供了一種語言的版本，那麼只有以應用預設語言查看應用的使用者才能看到當地語系化實驗。
實驗創建步驟：
- 登錄 Play 管理中心。
- 選擇一個應用程式。
- 在左側菜單中，點擊商店發佈 > 商品詳情實驗。
- 按一下新建實驗。
- 在“當地語系化”下，選擇一種語言。
- 按一下創建。
- 設置您的實驗。
3. 自訂商品詳情頁A/B測試
除了以上2種情況外，Google還允許您針對自訂商品詳情頁運行A/B測試。借助自訂商品詳情，您可以量身打造應用的商品詳情，從而吸引所選國家/地區的特定使用者細分群體。
您可以針對自訂商品詳情頁同時運行最多50個實驗。但值得注意的是，您可以在自訂商品詳情上運行實驗，同時還可以在全球範圍內對主要商品詳情進行即時實驗。
10個Google Play A/B 測試最佳做法
1. 提出假設，確定測試目的
很多行銷人員的測試動機和測試目的很是簡單粗暴。他們常常以提高轉化率為目的進行a/b測試, 但這樣的目的通常不是一個“有效的”的實驗目的。
一般來說，a/b測試應該從一個假設開始。例如, “如果我們將應用的圖示從紅色更改為綠色，我們將提高5%的轉化率，因為中東用戶更喜愛綠色。”在這個例子中，這個假設有助於我們將測試範圍縮小到應用圖示，而不是對整個應用詳情頁進行大修。而這個假設的測試目的則是對應圖示顏色的改變這個因素是否能有效提升轉化率。
但現實中，除了“提高轉化率”這個終極目標外，很多ASO優化師根本不去思考他們為什麼進行測試。測試的目的是驗證想法，一步一步找到提高轉化的方法，而不是一步到位地直達轉化率提高。
2. 確定目標受眾並正確選擇目標受眾
應用商店實驗需要流量才能獲得具有統計意義的結果。但它背後的不僅僅是數字 – 他們是真實接觸您的應用的用戶，測試結果是用戶與應用“交流”的結果。那麼，選擇讓正確的人看到您的測試變得至關重要。
然而，在現實中，我們常常讓錯誤的人看到我們的測試版本。
例如，很多應用或遊戲開發者將“EN-US”設置為主要語言 （預設語言），然後他們錯誤地認為在為該語言創建當地語系化實驗時，他們的目標受眾是美國人。當您僅在美國發佈您的應用或為美國採用自訂商品詳情頁的時候，這是真的。然而，如果您在全球推廣您的應用的時候，情況就變得複雜得多 – 您的目標受眾可能不僅有美國人，還有英國人，印度人，菲律賓人等很多其他國家的人。
再比如，如果您為“French (France) – fr-FR”設置了一個當地語系化實驗，您的用戶可能不僅來自法國，還可能來自許多其他法語被廣泛使用的國家。如果您想針對特定國家和特定語言的受眾，您可以創建“自訂商品詳情”並為該詳情運行 A/B 測試。
在同一種語言中，有時您的應用可能會接觸到來自不同國家、具有不同文化背景的不同受眾。您應該在啟動測試之前確定您的目標受眾。確保您的測試與您的目標受眾很好地匹配。
3. 儘量不要在全球範圍內測試
如果您在多個國家/地區發佈您的應用或遊戲，那麼您應該當地語系化您的應用商店列表並進行當地語系化實驗。
由於語言及文化背景的不同，不同國家/地區的使用者會對相同的文字/圖片/視頻產生不同的反應 – 大部分時候您都很難找到適合世界各地人們都喜愛元素。
4. 測試優先順序：視覺優於文字
應用商店詳情頁中不同元素對轉化率有不同的影響。由於時間和資源有限，我們必須優先測試最有價值的元素。
根據我的個人經驗及業內專家意見，大家基本都同意視覺元素（圖示、置頂大圖、螢幕截圖和宣傳視頻）對轉化率的影響力大於文本（長描述和短描述）。因此，一般情況下，您應該優先測試視覺元素。
5. 一次只測試一個元素
A/B測試看起來簡單，但在實際操作中，卻有很多“坑”防不勝防。如果操作不當, 您就很難鎖定影響您的app轉化率的因素到底是什麼。
例如，如果您想測試哪個功能最能吸引您的用戶，您可以將不同功能的螢幕截圖順序更改為您的第一個螢幕截圖。但是，您不應同時更改螢幕截圖的順序和截圖中的設計項目。否則，您就無法判斷到底是應用功能吸引了用戶還是截圖設計吸引了用戶。
6. 確保足夠的樣本量
較低的流量意味著難以較快獲得有統計意義的資料。如果您的App流量不夠大，建議只新增一種變體並設置50%的百分比，而不要在這種情況下採取給原版本分配90%的流量，給測試變體只分配10%的流量。
有些人聲稱1000或2000個用戶足以進行測試。但以我個人經驗而言，當每個變體的安裝至少達到10000以上且測試持續一周以上時，測試結果開始逐步趨於穩定。
因此，為了使測試效率更高及測試結果更準確，您應該確保您的測試有足夠的受眾。如果您的應用每日下載量過低，您可以通過延長測試天數獲得足夠的統計資料。
為讓開發者獲得更多的控制權和更詳實的統計資料，Google最近在 Play 管理中心內對商品詳情實驗添加了三項新功能：
- 實驗參數配置；
- 可估算所需樣本和完成時間的計算器；
- 現在可實現持續監控實驗的置信區間。
這對 ASO 從業者來說是一個振奮人心的消息，並且受到了好評。ASO 從業者將不再需要協力廠商工具計算測試所需的樣本量。
7. 盡可能選擇更高的置信度
以前，Google Play的測試默認的置信度是90% —— 這在ASO從業人員中臭名昭著。因為90%的置信度代表著10%的誤差，這個誤差太大了。而一般A/B測試的置信度應該在95%以上。
幸運的是，目前Google已經允許您在90%至99%的置信度之間進行選擇。很顯然，越高的置信度越能降低誤誤報的幾率。然而，雖然最好有更高的置信水準，但如果您選擇 99%，您的測試將運行比平時更長的時間。 但無論如何，我希望您至少選擇95%以上的置信度。
8. 測試至少持續一周
每次您運行實驗時，Google Play一般會在幾天後告訴您實驗完成。如果您每天有大量訪問者，您甚至可以在 24 小時後獲得結果。
很多開發者或行銷人員在快速獲得積極的測試結果後都迫不及待地“應用”，甚至會想“這樣我們可以在一個月內測試很多的想法並得出很多重要的結論了”。
這種心情和想法都是可以理解的。作為開發者或行銷人員，我們都渴望快速找到有效的方法並應用它們，這樣我們就可以立即提高下載轉化率並獲得更多的應用安裝了。然而，有時候這種“匆匆忙忙”的測試會把您帶坑裡去。
Google建議至少將測試持續7天。運行一周可以讓您捕捉用戶在工作日和週末的不同行為，確保測試結果不會受工作日或週末、季節性活動、假期、市場波動等的影響。實驗的執行時間越久，收集的資料越多，變體的效果範圍就越窄、越準確。
當然，如果您的測試連續三天帶來很明顯的負面結果，則可以直接停止測試。畢竟不好的變體會拉低總體的轉化率，特別是在App流量較大的情況下，損失會更大。
9. 不要將Google Play的獲勝測試應用在Apple App Store
為提高效率，減少測試次數及時間，有部分行銷人員將Google Play的測試結果應用在App Store中。這是一個風險較大的行為。
我們必須承認，iOS和Android的用戶不同，對應用的期望和態度不同，這使得他們的下載意圖和習慣有所不同。此外，Google Play和App Store展示應用的方式的大為不同，在Google Play上看起來很突出的元素，在App Store上可能就很難被注意到。
因此，您不應在 App Store上應用 Google Play中獲勝的測試結果。
10. 在測試取得正向結果後繼續觀察應用下載受到的實際影響
即使A/B測試的實驗結果表明測試變體的表現更好，它的實際表現仍有可能不同，尤其是測試結果存在紅綠區間的情況下。
因此，在得出正向的測試結果並應用後，請密切關注您的應用安裝受到的實際影響。真正的影響可能與您的預期有很大不同。
您還需要繼續測試置頂大圖嗎?
自2018年Google Play應用商店改版以來，置頂大圖不再出現在應用詳情頁頂部。當然，如果您的應用詳情頁有宣傳視頻，則您的置頂大圖將被用作該視頻的封面。這種情況下，使用者仍可在應用商店詳情頁看到置頂大圖。
那麼，對於在Play商店中未包含視頻的應用，我們是否仍需對置頂大圖進行A/B測試？
許多ASO優化師認為我們仍有理由這樣做。因為置頂大圖也可以展示在Play商店的廣告版位及“推薦”應用版位中。
但是，在我看在，我們可以對置頂大圖進行A/B測試，但如果我們用Google Play商品詳情實驗對沒有視頻宣傳的應用進行置頂大圖A/B測試則意義不大。因為在這種情況下，任何進來的用戶都不能在商店詳情頁看見置頂大圖。我們又如何能夠測試用戶根本看不見的東西呢？
總結：您可以信任Google Play A/B測試的結果嗎？
總體而言,Google Play 商品詳情頁實驗仍然是ASO優化師們最常用的A/B測試管道；針對實驗結果，我們可以部分地相信。
如果您已經在Google Play中進行一些A/A、B/A、A/B//B類型的測試，可能您已經發現，有時完全相同的實驗有不同的結果。在下面的例子中，我們就可以看到，針對完全相同的應用圖示，各個測試結果之間的差別是比較大的；著時間的拉長，這種差別被進一步放大。
導致這種情況的因素主要有3個：
- 樣本量太小。如上圖所示，測試中樣本的使用者量均低於1000，不利於得出有效結論。
- 用戶下載行為在一周中的不同日子可能會有很大差異。如，在週末，人們可能更願意下載一個新應用，而不關心它的圖示或螢幕截圖。一些開發人員運行測試的時間少於 7 天，因此他們更有可能得到錯誤的結果。
- Google Play商品詳情實驗設置的置信度較低（90%），則測試結果的可信度為90%。這意味著本身就有10%的可能測試結果是不可信的。此外，由於至目前我們仍無法確認Google Play到底是如何“分配”樣本的，以及使用者到達商店詳情頁後到底是如何進行互動的，那麼我們對測試結果的疑慮則會進一步加深。
那麼，如何提高 Google Play 實驗的可信度呢？–嚴格遵循本文中提到的一些Google Play A/B測試中的最佳實踐能有效地提高您的實驗結果的可信度。
此外，必須承認的是，在絕大多數開發團隊中，A/B測試的策略都是碎片化、低效、和短期的。我希望各位開發者及行銷人員能有計劃、更多次地在Google Play進行A/B測試累積經驗，分享經驗，幫助應用更高效地獲客。