A/Bテストとは？基礎知識と実施の流れ、アプリ開発における活用方法を解説
A/Bテストは、ユーザーの視点から複数のデザインのどちらが効果的か選定するリサーチの手法です。アプリ開発において知っておきたいA/Bテストの基礎知識として、メリットやデメリット、注意すべきポイント、実施の流れを整理しました。役立つツールも解説します。
A/Bテストとは
クリエイティブの現場では、たいてい複数案のデザインカンプを作成します。スタッフや発注先の企業の担当者を交えて検討した結果、採用するデザインを決定するプロセスが一般的です。ところが、どうしても主観が入りがちになり、上層部の「鶴の一声」で決まってしまうことが少なくありません。ユーザー視点をおざなりにしがちです。
このような発注や制作の主観的な判断ではなく、ユーザーリサーチによってデザインを決定する方法がA/Bテストです。ランダムにAとBを切り替えて、ターゲットの反応からデザインを選択します。
A/Bテストはアプリ開発のデザイン段階で行うと効果的です。また、ダウンロード数の低下などからアプリの改善、アップデート、リニューアルなどが必要になった運用段階の実施にも活用したい方法といえるでしょう。
なぜA/Bテストを行うとよいのか、メリットとは
A/Bテストを実施する大きな理由としては、デザインを実装する前のプロトタイプ段階で試行錯誤と検証ができるからです。
アプリのリリース後にユーザーの反応が不振だからといって、デザインを大きく変更することは避けなければなりません。大幅な変更は利用者の離反を招くだけでなく、アプリの信頼性を低下させるからです。A/Bテストを実施することによって、アプリの企画段階においてユーザー視点による改善のヒントが得られます。
インターフェースに掲載した文章やビジュアルによって、ユーザーの反応が大きく変わることがあります。制作側では気づかなかった課題の発見にも役立ちます。アプリの品質を高めるためにも、プロトタイプの段階におけるテストは念入りに行うべきです。
A/Bテストのリスク、デメリットとは
一方で、A/Bテストにはリスクやデメリットもあります。たとえば、ユーザーを対象に調査するため、サンプル数が少ないと偏った結果になってしまうことがあります。また、テスト前に考察した仮説と結果の解釈によっては、誤った方向にアプリ開発を進めてしまったり、開発を迷走させてしまったりするケースも考えられます。テスト結果が仮説とまったく異なった場合には、設計自体の大幅な見直しの検討が必要です。
ユーザーに結果を委ねるとはいえ、絶対的な結果が得られるわけではありません。サンプルの抽出状況やテスト期間によって結果が変化することもあります。しかし、正確な結果を得ようとして何度もテストを行うと費用がかさみ、工程に遅れが生じます。このようなリスクも考慮しておくとよいでしょう。
A/Bテストは、どのようなときに役立つのか？
メリットとデメリットを考慮した上で、どのような場合にA/Bテストが役立つか整理します。
デザインや機能を検討するとき
まず、アプリの設計段階において、デザインや機能を検討するときにA/Bテストは役立ちます。チェックするのは次のような項目です。
・画面デザイン
・マイクロコピー
・マイクロインタラクション
・リッチメディアの活用 など
アプリを積極的に活用してもらい、感想や評価などのフィードバックを得るためにもUXデザインを充実させることが重要です。動画やアニメーションなどのリッチメディアが効果的かどうか、最も効果的なビジュアルデザインは何か検証します。
アプリのダウンロードやインストールを最大化するとき
次に、アプリのリリースに際しては、ダウンロードやインストールを最大化する必要があります。アプリストアにおけるアイコン、スクリーンショット、プレビュー動画は、ユーザー数を拡大するためにも最適化および最大の効果が求められます。どのようなビジュアル表現をしたときにダウンロード数が伸びるか検証するときに、A/Bテストが役立ちます。
コンバージョンを最大化するとき
ダウンロード数を増やすためには、オンライン広告などプロモーション施策の費用対効果を最大化する必要があります。出稿しながら効果的な広告を残していく方法も可能ですが、このときにもA/Bテストを用いて広告表現を最適化します。効率的な広告の運用のためにもA/Bテストを実施すべきです。
A/Bテストで注意すべき３つのポイント
A/Bテストは設計段階の準備が大切です。以下の3つに注意して調査を設計します。
テストする軸を絞り込む
ビジュアルデザインには多様な要素があります。したがってあれもこれもテストしたくなるものですが、テストの軸を絞り込むことが重要です。というのは、複数の構成要素を一度にテストしようとすると、何が効果の要因となったか分析が困難になるからです。
たとえば、ボタンに記載された「登録を始める」と「登録をスタートする」のどちらがよいかをテストするのであれば、ボタンの色を変えたり画面のレイアウトを変えたりしないことが大切です。テストすべき項目以外は同一の条件で行います。
また、そもそもビジュアルデザインではなく機能とタスク自体に問題があるような場合、ユーザーの問題意識は機能やタスクに集中してしまいます。テスト自体が無効になってしまうため、テスト項目に集中できるような配慮が必要です。
複雑な変更を最適化する分析には、多変量テストという方法もありますが、A/Bテストとは別に考えた方がよいでしょう。
十分なサンプル数を得られるようにする
A/Bテストによって結果を導くためには、定量的な計測が求められます。統計的に意義のあるサンプル数を設定します。
サンプルサイズは、一般的に有意水準、検定力、効果量という３つの要素から算出します。有意水準は、偶然ではないと判断をする確率であり、通常は5パーセントです。検定力は、どれぐらいで差があると判断する確率であり、通常は80パーセントが使われます。効果量は、差がある場合にどれぐらいの差があるかを表し、過去のデータから設定します。
計算にあたっては、Web上で計算できるサイトがあります。また、テストツールを用いたり、アウトソーシングしたりする方法もあります。
参考：
ABテストのサンプルサイズの計算
テスト自体を目的にしない
A/Bテストに限らずリサーチ全般に言えますが、調査自体が目的になり、時間やコストをかけ過ぎてしまうケースがあります。そもそもA/Bテストは、統計的な結果が得られるまである程度の時間を必要とします。しかし、結果が出ないからといって何度も実施するのは問題です。
A/Bテストは、インターフェースのデザインの決定や改善のためにあります。調査を長引かせてアプリの開発自体を停滞させてしまうことは、プロジェクト全体から見渡すと決して効率的とはいえません。テストによって大きな差が得られなかったのであれば、最終的にはプロダクトに関わるスタッフが判断するとよいでしょう。
A/Bテスト、３つのステップ
A/Bテストの流れを次の３つのステップで整理します。
・設計段階：目的の整理、仮説の立案、実施方法の決定
・実査段階：A/Bパターンの作成、テストの実施
・分析段階：定量的な分析、仮説の検証、デザインの選択と改善
以下、それぞれのステップに分けて要点を解説します。
A/Bテスト：設計段階
設計段階では、調査の目的を明確にし、仮説を立てるとともに実査方法の計画をします。
目的の整理
A/Bテストの目的としては、ユーザー数の増加のほか会員登録や課金への誘導などがあります。「ユーザビリティの向上」のような目的は漠然としているため、具体的な目的にブレイクダウンします。目的を定めた上で、課金に誘導するのであれば「ビジュアルの素材を変える」「ボタンに記載する言葉（マイクロコピー）を変える」「レイアウトを変える」など、さらに具体的な目的を決めます。
仮説の立案
目的が決まったら次に仮説を立てます。仮説の立案にあたっては、既に実施された事例や成功法則を参考にして考えるとスムーズに進められます。UIに使う短い文章をマイクロコピーと呼びますが、表現を変えることによってコンバージョンを改善した例があります。たとえば「いますぐ始める」と「30日間無料で始める」を比較した場合、具体的な期間を設定すると効果があるのではないか？という風に仮説が立てられます。
期間やセグメントなど実施方法の決定
A/Bテストの具体的な方法としては、AとBを別々の期間にテストする「逐次テスト」、ユーザーごとにAとBに振り分けて同時にテストする「並行テスト」があります。ただし、期間によってばらつきが生じるため、同時にテストする並行テストのほうが信頼性は高いといえるでしょう。
外部に委託する場合には、予算、実施期間、どのような対象にセグメントするかなどの要望をまとめて依頼します。初めてテストを実施する場合は、相談しながら決めるとよいでしょう。複雑な要素を検証したい場合は、多変量テストを実施する選択肢もあります。
A/Bテスト：実施段階
設計が終わったらテストを実施します。まずデザインパターンを用意します。テストの実施にあたっては期間に注意することが大切です。
A/Bパターンの作成
AとBのパターンのデザインを用意します。複数の調査軸を混在させないように、文章の表現であれば文章、ビジュアル素材であればビジュアル素材を変えたパターンを準備します。目的と仮説を確認しながら、パターンによる違いを明確にしておくことがポイントです。
テストの実施
準備したテストパターンを使って調査を実施します。調査に際しては、テストツールや外部のサービスを利用すると効率よく進めることができます。A/Bテストを専門に行っている会社に委託すると。調査の設計を含めて作業負荷を軽減して確実な成果を得られます。アイトラッキングなど視線の動きを測定した分析を提供している会社もあります。
A/Bテスト：分析段階
調査結果から分析を行います。A/Bテストは定量的な分析ができることが特長です。ユーザーの利用状況のデータから効果的なデザインの選択が可能です。分析結果はビジュアルデザインの採択や改善に落とし込みます。
定量的な分析
それぞれのパターンに対するデータから、滞在時間やクリック率などを総合的に分析します。PCからアクセスさせた場合にはマウスカーソルなどの動きを追跡して、画面のどの部分にユーザーが注目しているかヒートマップを可視化できるツールもあります。
仮説の検証
設計段階に立てた仮説に対して結果を検証します。大切なことは、優劣にこだわり過ぎないことです。仮説通りにならなかったのであれば、その要因を考察します。あくまでもテストと分析を通じてユーザーの行動や感情を推測することが重要です。場合によってはユーザーインタビューなどを行って定性的な理由を補足します。
デザインの選択と改善
テストパターンから採用するデザインを選択し、改善を加えます。ただし1回のリサーチだけで得られた結果が必ずしも完全とはいえません。また、実際のデザイン制作やアプリ開発を通じてインターフェースは改良されていきます。できればリリース後も継続的に調査を行い、ユーザーに最適かどうかを検証します。
A/Bテストのツール4選
A/Bテストのツールは、主としてWebサイトのデザイン検証に使われるものが数多くあります。またiOSアプリの場合は、AppStore Connectでストアに掲載するスクリーンショットなどのA/Bテストが可能です。
Googleオプティマイズ
Googleが提供する無料で利用できるA/Bテストのツールです。ランディングページのテストに使えます。コンテナの下に最大5つまでのエクスペリエンスを設定してテストできます。
参考：https://marketingplatform.google.com/intl/ja/about/optimize/
Optimizely（英語）
世界でトップレベルのシェアを誇るABテストツールです。レスポンシブデザインにも対応しています。iOSとAndroidのモバイルアプリのテストが可能であり、ヒートマップも利用できます。
参考：https://www.optimizely.com/
Adobe Target（有料）
人工知能を活用したA/Bテストツールで、多変量テストも提供しています。Webサイトやモバイル端末からIoTまで、あらゆるチャネルのテストが可能です。
参考：https://business.adobe.com/jp/products/target/adobe-target.html
AppStore Connect
プロダクトページの最適化として、ストアを使ってA/Bテストができます。テストできる要素はアイコン、スクリーンショット、プレビューの動画です。最大90日間のテストを実施し、iOS 15とiPadOS 15以降のユーザーにランダムに表示されます。ストアに掲載するスクリーンショットの検討にはぜひ活用すべきです。
まとめ
アプリのインターフェースは、プロトタイプやカンプを使ったメンバーによる検討に加えて、ユーザー視点からデザインを検討すべきです。一歩踏み込んだブラッシュアップの方法としてA/Bテスト実施を検討してみてはいかがでしょうか。ユーザーに対する理解が深まり、思わぬ改善点を発見できるかもしれません。