모바일 앱 A/B 테스트: 피해야 할 5가지 실수

마케터로서 우리는 항상 긴장을 늦추지 않아야 합니다. 특히 모바일 성장 영역에서는 역할의 본질입니다. 이 끊임없이 변화하는 생태계는 우리가 촉박한 마감 기한 내에 작업하고, 전략을 끊임없이 재조정하며, 운영 방식을 재평가하도록 강요합니다. 그러나 숫자와 결과에 대한 이러한 서두름 속에서도 아무것도 뒤처지지 않고, 어떤 부분도 소홀히 하지 않는 것이 중요합니다.

수천 개의 앱 스토어 크리에이티브 테스트를 분석한 결과, 무엇이 효과가 있고 무엇이 없는지, 왜 일부 회사는 성공하고 다른 회사는 실패하는지 확인했습니다. 결과에 대한 조급함 때문이든 다른 이유 때문이든, 앱 스토어 테스트 과정을 거칠 때 피해야 할 5가지 실수 목록은 힘들게 번 돈을 낭비하지 않으면서 더 나은 전환율(CVR)과 사용자 참여를 얻는 데 도움이 될 것입니다.

이 글은 StoreMaven의 마케팅 이사 조나단 피쉬맨이 작성한 게스트 포스트입니다.

1. Google Play와 App Store에 동일한 크리에이티브를 테스트하지 마십시오.

App Store와 Google Play는 근본적으로 다른 플랫폼이며, 따라서 그렇게 다루어져야 합니다.

디자인 자체나 레이아웃 차이뿐만 아니라 훨씬 더 많은 의미를 내포하고 있습니다. 각 스토어마다 다른 트래픽이 유입됩니다. 사용자 기반이 다릅니다. 한 플랫폼에서 인기 있는 앱과 게임이 다른 플랫폼에서는 같은 성공을 거두지 못할 수도 있습니다.

두 스토어 간의 이러한 상당한 차이로 인해 획일적인 접근 방식을 피하는 것이 중요합니다. 다음 데이터를 빠르게 살펴보면 이러한 실수를 저질렀을 때의 결과를 알 수 있습니다.

2. 전략 없이 A/B 테스트를 하지 마십시오.

마케터로서 우리는 항상 숫자, 결과, 더 나은 전환율을 보여줘야 한다는 압박을 받습니다. 그러나 이 테스트 주기에는 서두를 수 없는 단계가 있습니다. 적절한 연구를 수행하고 강력한 가설을 개발하는 것은 A/B 테스트 성공에 매우 중요합니다. 약한 가설을 선택하거나 너무 사소하고 미묘한 변경 사항을 앱 크리에이티브에 적용하는 것은 결국 영향을 미치지 않을 것입니다. 오히려 귀하의 노력을 해칠 수 있습니다. 왜냐하면 귀중한 인사이트나 명확한 방향 또는 가설이 테스트 주기를 앞으로 나아가게 하지 않기 때문입니다.

다음은 강력한 가설의 좋은 예입니다. 다양한 측면을 테스트한 앱 아이콘 테스트를 실행하는 것입니다. 캐릭터, 게임 플레이 요소, 그리고 캐릭터와 게임 플레이 요소의 조합. 이런 식으로, 어떤 것이 승리하든, 청중이 무엇에 더 잘 반응하는지에 대한 명확한 인사이트를 얻을 수 있습니다.

3. 테스트를 일찍 종료하고 결론 내리는 것은 좋지 않은 생각입니다.

많은 실패한 테스트는 숫자를 빨리 보여줘야 한다는 압박의 결과이기도 합니다. 이 경우, 좋은 전략을 가지고 있었을 수도 있지만, 테스트 자체가 너무 일찍 종료되었습니다.

이는 통계적인 측면 이상입니다. 예를 들어, 모바일 게임의 최고 품질 사용자가 주말보다 주중에 더 활동적이라고 가정해 봅시다. 만약 테스트가 주중에 시작되어 트래픽이 수신된 지 4일 만에 종료된다면, 의심할 여지 없이 결과는 정확하지 않을 것입니다. 이러한 결과에서 도출된 어떤 결론이나 해결책도 장기적으로 귀하의 목표를 놓치게 할 뿐만 아니라 향후 테스트 주기를 손상시킬 것입니다.

또한, 테스트의 매일매일 명확한 승자인 변형을 보는 것은 드뭅니다. 일관성에 대한 확신을 주기 위해 항상 더 넓은 날짜 범위를 가지도록 노력해야 합니다. 5백만 명 이상의 사용자로부터 수집된 저희 데이터에 따르면, 최소 7일 동안 테스트를 실행하고 평균 10-14일로 더 길게 진행할 것을 권장합니다.

4. 잘못된 방식으로 결과를 측정하지 마십시오.

이 부분에 대해서는 저희와 함께하시거나, 데이터 전문가의 도움을 받으십시오. 테스트가 완벽하게 실행되더라도, 너무 단순한 모델을 사용하여 결과를 측정하는 실수를 저지르기 쉽습니다.

예를 들어, 일부 회사는 변경 전 2주간의 평균 CVR을 계산하고 이를 변경 후 평균 CVR과 비교하는 사전 및 사후 테스트 분석을 사용합니다. 생각보다 흔한 이 접근 방식은 스토어 내 전환 및 앱 단위에 영향을 미치는 많은 변수를 고려하지 못합니다. 예를 들면 다음과 같습니다.

• 키워드 순위
• 전체 순위
• 카테고리 순위
• 피처링 (선정)
• 사용자 확보(UA) 지출 수준
• 경쟁 앱의 변경 사항 (크리에이티브 업데이트, UA 지출 등)
• 기타

영향을 정확하게 측정하지 않으면, 기업은 잘못된 결론에 도달할 수 있습니다. 예를 들어, 크리에이티브 변경이 중요하지 않다거나, 실제로는 긍정적인 상승을 경험했음에도 전환율이 손상되었다는 결론 등입니다. 이에 대해 더 자세히 알아보려면, 이 블로그를 읽어보십시오.

5. 올바른 잠재 고객을 위해 최적화하지 않으면 테스트에 해를 끼칠 수 있습니다.

캐주얼 게임을 개발하든 기능적인 앱을 가지고 있든, 잠재 고객에 대해 생각해야 합니다. 다른 앱과 게임은 매우 다른 사용자를 유치합니다. 잠재 고객이 어디에서 오고 무엇을 찾는지 알면, 그들의 요구를 충족시키기가 훨씬 쉬워집니다.

캐주얼 게임을 가지고 있다고 가정해 봅시다. 주로 추가 시간이나 노력을 들여 조사하는 데 관심이 없는 결단력 있는 사용자를 유치합니다. 이 결단력 있는 사용자들이 귀하의 페이지를 3-6초 동안 훑어볼 때 볼 수 있는 귀하의 첫인상 프레임을 최적화하는 데 돈과 시간을 투자해야 한다는 것을 쉽게 알 수 있습니다.

또 다른 고려 사항은 귀하의 게임이 다른 시장에서 사용 가능한지 여부입니다. 다양한 국가를 대상으로 하는 경우, 크리에이티브를 현지화하거나 문화화할 수 있습니다. 이는 앱 스토어 자산을 다른 지역의 언어와 문화에 맞게 조정하는 것을 의미합니다.

선택한 모든 시장에서 앱 또는 게임을 성공적으로 현지화하기 위한 이 팁을 읽어보십시오

요약

앱 스토어에서 앱 또는 게임에 대한 A/B 테스트를 설정할 때 이 유용한 팁을 명심하십시오.

• Google Play와 App Store는 매우 다른 플랫폼이므로, 둘 다에 동일한 크리에이티브를 테스트하는 실수를 저지르지 마십시오.
• A/B 테스트를 설정하기 전에 적절한 연구를 수행하고 강력한 가설을 개발하십시오.
• 테스트를 서둘러 결론 내리지 마십시오. 그렇지 않으면 결과가 너무 정확하지 않을 수 있습니다.
• 너무 단순한 모델로 테스트의 영향을 측정하는 것은 권장되지 않습니다. 그렇지 않으면 전환율 및 앱 단위에 영향을 미치는 변수를 고려하지 못할 수 있습니다.
• A/B 테스트를 수행하기 전에 타겟 잠재 고객이 누구인지 명확히 하십시오.