ASOにおけるAI：ユーザーレビューマイニングの新しいモデルの開発

2022年12月以降、ChatGPTはデジタル業界における人工知能（AI）の代表格として登場しました。この技術は、非常に大きなテキストコーパスから質的で人間が読みやすい要約を作成する印象的な能力を実証しています。実際、ChatGPTは簡潔かつ明確に書くことができるだけでなく、非常に多様なコンテキストで人間の回答を再現する優れた技術でもあります。

データサイエンスが当社プラットフォームの中核にあることから、AppTweakでは、この技術に注目し、それをどのように活用するかの調査を開始しました。ChatGPTの使用を検討したASOの重要な側面の一つは、ユーザーレビューです。レビューへの返信に関する初期実験により、この特定の目的でクライアントがこの技術を使用することを支援することを確信しました。

初のストア固有のセマンティックエンジンであるAtlasの構築における独自の経験により、GPTをテストする機会を見出しました。専用のAIモデルが、アプリストアのアプリレビューでユーザーが残した最も価値のあるinsightsを抽出するために、より高性能であるかどうかを研究したいと考えました。

ベンチマークのためのGPT技術の限界の特定

iOS向けNetflixのユーザーレビューで最も一般的なトピックは何かをChatGPTに尋ねたとき、最初に印象的だったのは、回答が非常に理解しやすく、iPhoneとiPadユーザーが言及する可能性が非常に高いと思われる要素を特定していたことでした。

しかし、ChatGPTは要約の作成に非常に長けており、そのスピードは自動化の新たな地平を開く一方で、強調されたトピックの一般的な性質は新たな疑問も生み出しました：

• トピックを特定のレビューコーパスまで遡ることができるでしょうか？
• 一般的に、また特定のレビューを見る際に、あるトピックの他のトピックに対する優勢度を定量化できるでしょうか？
• 特定のトピックがレビューに現れた時期を遡ることができるでしょうか？

回答を調査する中で、汎用技術としてのChatGPTが、私たちが使用したい非常に特定のトピックに対して一つの特定の欠陥を示すことを発見しました。世界最大級の情報プールの一つ（もしくは最大）へのアクセスは、App StoreとGoogle Play以外の情報に基づいて回答を作成する誘惑に駆られる可能性があるため、私たちの目的には賢すぎるリスクがありました。具体的には、他のソースの影響を受ける可能性があり、事実に基づくレビューと矛盾したり、特定のトピックを比例的に反映しない回答につながる可能性がありました。

私たちのようなASO実践者にとって、これはレビューで探すべきトピックを提案するためにChatGPTを検討できることを意味しましたが、より方向性のあるinsightsに使用するには、最低でも入力に対する十分な監督と制御が必要でした。

これが私たちの当初の野心と矛盾したため、別のモデルを試すことにしました。

ChatGPTを使用してASOの取り組みを最適化する方法をご確認ください

ユーザーレビューへのセマンティック機械学習の適用

データベースに保存されている非常に大きなアプリレビューのコレクション（クライアントがフォローしているすべてのアプリとすべての国からユーザーレビューを収集しています）により、 単語の頻度とそれに関連するセマンティクスに焦点を当てた教師なし機械学習技術を実験することができました。

この方法により、入力がより具体的になっただけでなく、オペレーターの唯一のタスクは、モデルが識別する特徴的なトピックの数を選択することでした。そこから、モデルは与えられたレビューの総量において最も特徴的な「x」個のトピックが何であったかを自分で決定し、その後任意の特定のレビューを見て、識別した各トピックに対してスコアを与えることができます。

これにより、ChatGPTで発見した限界に対する満足を得ることができました：

• 任意のトピックを、モデルが読み取ったレビューのサブセットまで遡ることができるようになりました。
• 過去および将来のレビューも、各トピックに対してスコアを受け取ることができます。

これは、レビューごとに複数のトピックを識別できるだけでなく、時間の経過に伴うトピックの定量的進化を監視することもできることを意味し、特定のトピックが突然現れた際のアラートを可能にします。

この最後の利点は過小評価すべきではありません。これは、人間のレビュー監視における最も頻繁なバイアスの一つである、見つけることを期待するトピックを本能的に探すことを克服するのにも役立ちます。

米国（iOS）におけるNetflixの1つ星および2つ星レビューでモデルをテストした際、Netflixがプラットフォームからヴァンパイア・ダイアリーズシリーズを削除した後の2022年9月頃に、削除されたコンテンツのトピックが特に顕著になったことを発見して驚きました。

アプリレビューのトピックをマーケティングの成功に変える

もちろん、最も顕著なトピックを知るだけでは、アプリを成功させるには十分ではありません。それでも、これは不可欠な第一歩です。

• ユーザーが特定した問題点を理解する：製品の問題を認識することは、アプリの品質を確保（および健全な製品バイタルを提供）する必要があるプロダクトマネージャーにとって非常に有益です。ユーザーの提案にスコアを付けることは、製品ロードマップを調整する際にデータに基づいた意思決定を行うのにも役立ちます。

• ポジティブなレビューを強調する：アプリストアレビューと評価は、今日ではるかに大きな影響を与えています。GoogleとAppleは、平均評価がApp StoreやPlay Storeでフィーチャーされるための重要な要因になり得ることをアプリ開発者にしばしば思い出させるだけでなく、研究では、ストアユーザーがアプリをダウンロードする前にユーザーレビューを非常に気にかけることも示されています。Apptentiveの2020年レポートでは、3つ星の平均評価から4つ星への上昇が、コンバージョン率の92%向上をもたらす可能性があることが強調されました。アプリストアのスクリーンショットでポジティブなレビューを強調することは、製品への信頼を促したり、特定の機能を強調したいアプリにとって、ある種のベストプラクティスにもなっています。

AppTweakがアプリレビューでキーワード分析を実行し、ユーザーが何について話しているかを特定するのにどのように役立つかをご確認ください

私たち自身の経験でも、レビューマイニング分析がマネージドサービスクライアントの一つの比較優位を特定するのに役立った際に、大きな成功を収めました。この優位性をiOSでのカスタム製品ページの設計のインスピレーションとして活用し、その後Apple Search Adsキャンペーンで競合他社のブランド名をターゲットにするために使用しました。これにより、コンバージョン率が58%向上し、インストール単価が約40%削減されました。

私たちのチームは、その後もセマンティックレビューマイニングモデルの実験を続け、特定の市場で月あたりのレビュー数が限られているアプリを支援するための改善を行いました。また、アプリクラスター間でレビュートピックを比較する方法についていくつかの思考実験も行いました。全体として、これはASOにおけるAIの可能性に対する私たちの信念を強固にし、プラットフォームにより多くのデータサイエンス駆動機能を追加し続けることになります。

AppTweakでのAIの使用方法について学び続け、最新の機能から恩恵を受けたい場合は、7日間の無料トライアルにサインアップしてください。

無料トライアル