경쟁 앱의 A/B 테스트를 분석하십시오.
에 의한 Flavien Eyer
Product Manager at AppTweak
— 1 분이면 완독 가능
새로운 A/B 테스트 기능을 통해, AppTweak이 그 어느 때보다 더 많은 인사이트를 제공합니다! 경쟁 앱이 메타데이터에서 어떤 요소를 테스트했는지 궁금해하신 적이 있으십니까? 이제 어떤 앱이 어떤 메타데이터에 대해 A/B 테스트를 실행하고 있으며, 어떤 버전을 유지하기로 결정했는지 직접 확인할 수 있습니다. 아래 블로그를 읽고 전략을 미세 조정하기 시작하십시오.
전문가의 팁
AppTweak은 Apple의 제품 페이지 최적화(PPO) 지원을 포함하도록 기능을 확장했습니다. AppTweak의 PPO 데이터를 통해 경쟁 앱의 모바일 마케팅 전략에 대한 귀중한 인사이트를 얻으십시오. 그들이 실험하고 있는 창의적인 전략을 발견하고 타겟 고객을 가장 효과적으로 참여시키는 요소를 식별하십시오.A/B 테스트란 무엇입니까?
A/B 테스트는 동일한 변수의 두 가지 버전을 테스트하여 어떤 것이 더 나은 성과를 내는지 확인하는 프로세스입니다. 이는 마케팅에서 웹 페이지, 광고 크리에이티브, 이메일, 뉴스레터 등을 테스트하는 데 매우 자주 사용됩니다.
앱도 메타데이터를 테스트하기 위해 A/B 테스트를 할 수 있습니다 (예: 제목, 부제목, 설명, 피처 그래픽, 아이콘, 스크린샷 및 동영상).
A/B 테스트와 업데이트의 중요한 차이점은 업데이트는 테스트 기간을 거치지 않은 버전이라는 것입니다. 테스트 없이 새 버전을 직접 업로드하면 회사 입장에서는 비용이 덜 들 수 있지만, 다른 버전만큼 고객을 유혹하지 못하는 버전을 선택할 수도 있습니다.
몇 개의 이미지를 얼마나 오랫동안 테스트해야 할지 확신이 서지 않을 수 있습니다. 타임라인 섹션의 새로운 기능은 경쟁 앱의 A/B 테스트 전략을 분석하고 자신만의 전략을 개발하는 데 도움을 줄 수 있습니다.
당사의 A/B 테스트 알고리즘
이제 몇 가지 정의를 명확히 했으니, 이 기능이 어떻게 작동하는지 더 자세히 알아볼 수 있습니다.
도구의 타임라인 섹션에서 업데이트(녹색), A/B 테스트(주황색), 그리고 메타데이터 요소에 대한 A/B 테스트와 다른 요소에 대한 업그레이드(녹색 및 주황색)를 나타내는 다른 색상의 점들을 보셨을 것입니다.
업데이트로 간주하는 것
당사의 알고리즘은 메타데이터(앱 아이콘, 설명, 제목 등)가 하루 동안 업데이트되었는지 확인한 다음, 다음 이틀 동안 동일한 메타데이터에 대한 다른 업데이트가 있었는지 확인합니다. 예를 들어, 앱 아이콘이 한 번 업데이트된 후 다음 이틀 동안 업데이트되지 않았다면, 이는 업데이트로 간주됩니다.
A/B 테스트로 간주하는 것
반면에, 알고리즘이 다음 2일 이내에 또 다른 업데이트를 감지하면, 앱 개발자가 앱의 메타데이터를 A/B 테스트하고 있다고 간주합니다. 따라서 점들은 주황색이 됩니다.
물론, 어떤 날에는 앱이 하나의 메타데이터에 대해 A/B 테스트를 하고 다른 메타데이터에 대해 업데이트를 할 것입니다. 이것이 타임라인에서 두 가지 색상의 점을 찾을 수 있는 이유입니다.
이 데이터를 얻기 위해 당사는 매일 앱의 데이터를 가져와 데이터베이스에 저장합니다. A/B 테스트는 이 알고리즘에 따라 식별되지만, 당사가 분석하는 것과 다른 동작을 하는 A/B 테스트는 감지되지 않을 수도 있습니다.
이 모든 색상의 점들 때문에 혼란스러울 수 있다고 생각할 수도 있지만, A/B 테스트가 어떻게 보이는지에 대해 더 자세한 정보가 필요하다면, 원하는 점을 클릭하면 모든 세부 정보가 아래 표에 표시됩니다.
당사는 Gardenscapes 앱의 앱 아이콘 변경 사항을 살펴보았으며, 11월 18일부터 12월 8일 사이에 앱이 두 번의 A/B 테스트 단계를 거쳤음을 알 수 있습니다. 그들은 12월 8일에 선택한 것을 유지했습니다.
AppTweak과 함께 A/B 테스트 전략을 이해하십시오.
1. 경쟁 앱이 무엇을 얼마나 자주 A/B 테스트하는지 발견하십시오.
당사의 색상 코드를 통해 타임라인에서 앱이 A/B 테스트를 진행했는지 직접 식별할 수 있습니다. 점 위에 마우스를 올리면 그들이 어떤 요소를 A/B 테스트하고 있는지 추가로 식별할 수 있습니다. 점을 클릭하면 그들이 어떤 버전을 테스트하고 있는지까지 확인할 수 있습니다.
여기, 당사는 미국에서 8개의 게임 앱을 선정했습니다 (Gardenscapes, Homescapes, Wildscapes, Lily’s Garden, Royal Garden Tales, Manor Cafe, Matchington Mansion, Butterfly Garden Mystery). 당사는 모든 메타데이터 변경 사항을 선택하고 12월 16일의 변경 사항을 살펴보았습니다. 또한 점 하나를 클릭하면 해당 날짜의 세부 정보를 볼 수 있습니다 (여기서는 12월 16일 Matchington Mansion의 점 중 하나를 클릭했습니다).
경쟁 앱 그룹이 있다면, 일부는 다른 앱보다 하나의 메타데이터를 더 많이 A/B 테스트할 수 있습니다. 이 그룹 내에서 경쟁 앱의 각 A/B 테스트로부터 배울 수 있습니다.
여기, 예를 들어, 당사는 여행 및 예약 앱의 동종 그룹을 선정했습니다 (Expedia, Trip.com, Priceline, Booking.com, Hotels.com, Agoda, KAYAK 및 Trivago). 이들은 모두 같은 카테고리에서 경쟁하고 있지만, 각 앱은 여름 직전에 다른 메타데이터를 A/B 테스트하고 있습니다.
이 기간 동안 Expedia는 그들의 제안에 대한 빠른 개요가 야외 사진보다 나은지 확인하기 위해 피처 그래픽을 테스트하고 있습니다.
Trip.com과 Agoda는 앱 설명에 대해 작업하고 있습니다. Trip.com은 전체 텍스트 구조를 변경했으며, Agoda는 “새로 등록된 숙소 할인”을 포함하는 것이 차이를 만들지 확인하려고 합니다.
Booking.com, Hotels.com, 그리고 Trivago는 앱 스크린샷을 테스트하고 있습니다. Booking.com과 Trivago는 배경 사진을 테스트하고 있으며, Hotels.com은 “비밀 가격”과 “즉시 할인” 사이에서 가장 좋은 키워드를 찾고 있습니다.
2. 계절별 A/B 테스트
일부 앱이 매우 인기 있는 시즌 동안 트렌드를 따르고 더 많은 다운로드를 얻기 위해 메타데이터의 새 버전을 시도하고 있음을 알 수 있습니다. A/B 테스트가 끝날 때 경쟁 앱이 무엇을 A/B 테스트했는지 확인하여 그들이 유지하기로 결정한 버전에서 영감을 얻을 수 있습니다. 이는 모범 사례와 A/B 테스트 전략에 어떻게 투자해야 하는지에 대한 귀중한 인사이트를 제공할 수 있습니다.
당사는 크리스마스 시즌 동안 미국에서 게임 Gardenscapes의 피처 그래픽 변경 사항을 살펴보았습니다. Gardenscapes는 월 초에 크리스마스 피처 그래픽을 테스트하려고 했습니다. 그러나 그들은 크리스마스 테마와 관련 없는 그래픽으로 빠르게 되돌렸습니다. 사진을 변경함으로써 게임의 원리가 충분히 명확하지 않았고 브랜드가 다운로드를 유도할 만큼 충분히 인지되지 않았습니다. 결과적으로 12월 22일에는 크리스마스 요소를 포함하지 않고 게임을 더 잘 보여주는 피처 그래픽을 유지했습니다.
3. 앱의 카테고리에 대한 인사이트를 얻으십시오.
때로는 A/B 테스트의 빈도뿐만 아니라 최종 결과에 대해서도 배울 수 있습니다. 예를 들어, 귀하의 앱이 음식 및 음료 카테고리에 있고 음식 스크린샷을 먼저 배치해야 할지 아니면 앱의 기능을 먼저 배치해야 할지 확실하지 않다고 가정해 봅시다. 가장 좋은 방법은 경쟁 앱을 살펴보고 그들이 무엇을 했는지 확인하는 것입니다.
여기, 당사는 미국 음식 배달 앱인 DoorDash의 예를 들었습니다. 그들은 먼저 음식 스크린샷 두 개가 더 나은지 테스트하기 시작했습니다 – 첫 번째 스크린샷은 앱의 기능을 보여주고, 두 번째 스크린샷은 음식을 묘사합니다.
이 실험이 끝난 후, 당사는 그들이 두 번째 옵션을 선택했음을 확인했습니다. 그런 다음 그들은 어떤 종류의 음식을 보여줄지 확인하고 싶어 했고, 이는 또 다른 A/B 테스트로 이어졌습니다.
한 달 동안 그들은 세 가지 음식 옵션(아시아 음식, 타코, 버거) 사이를 전환했으며, 버거 스크린샷을 스크린샷에서 두 번째로 배치하기로 선택했습니다.
결국, 그들은 앱의 기능을 보여주는 스크린샷과 버거 더미를 특징으로 하는 또 다른 스크린샷으로 결정했습니다.
귀하의 A/B 테스트 전략을 미세 조정하기 시작하십시오!
요약하자면, AppTweak의 A/B 테스트 도구를 통해 다음을 할 수 있습니다:
- 전반적인 상황을 이해하십시오 – 경쟁 앱이 A/B 테스트를 하는지 여부.
- A/B 테스트가 얼마나 자주, 얼마나 오래 지속되는지 아십시오.
- 각 경쟁 앱의 전략을 면밀히 검토하십시오 – 어떤 메타데이터가 우선순위입니까?
- 계절별 A/B 테스트가 있는지 확인하십시오.
- 귀하의 카테고리 리더로부터 모범 사례를 배우십시오.
더 많은 글: 기능 업데이트, 앱 시장 인사이트
Micah Motta
Georgia Shepherd
