ユーザー行動を使い、ユーザー目線でのテストを洗練させる
Tebiki社でQAエンジニアをしている中西です。
多くのテストエンジニアやQAエンジニアは、ユーザー目線でのテスト経験があるかと思います。プロダクトのユーザーとプロダクトの使われ方を想定して、テスト対象がユーザーのニーズにマッチしているかを確認しているのではないでしょうか。
Tebiki社では、「ユーザの行動が全て」というValueがあり、開発チームはプロダクトライフサイクルを通して、このバリューを体現することが求められています。つまり、ユーザー目線でテストすることに加えて、ユーザー行動に基づきテストすることが求められているのです。
本記事では、ユーザー目線でのテストとユーザー行動に基づくテストの違いを明らかにし、それらのテストを行うための取り組みを紹介します。この記事がユーザー行動にフォーカスしたテストプロセスの改善のきっかけになれば幸いです。
ユーザー目線でのテストとは
本記事では、「ユーザー目線でのテスト」とは「ユーザーの要求を満たしているかどうか確認するためのテスト」と定義します。IEEE Std 1012:2012などで定義されている「Validation（妥当性確認）」と同じであると考えています。
ウォータフォール開発では、要求定義書、要件定義書に書かれている情報を「ユーザーの要求」として扱い、テストケースを作成し、テストを行います。
一方、アジャイル開発では、ユーザーストーリーの記載内容（What、Why）をインプットにして、テストを行います。さらに、UX（ユーザーエクスペリエンス）の概念をテスト観点に取り入れて、テストする場合もあります。
つまり、ユーザー目線でのテストは開発チームやビジネスチームで加工したユーザー情報を使って、動作確認していると言えるのではないでしょうか。ユーザー目線をより、ユーザ行動に基づいた視点にするためには、ユーザ行動の重要性を理解する必要があります。
ユーザー行動の重要性
ユーザー行動が重要な理由は、それがプロダクトの利用方法を裏付ける情報源だからです。
操作マニュアルやFAQで、プロダクトの利用方法を説明していますが、ユーザーがそれらに記載された通りに利用しているとは限りません。なぜなら操作マニュアルでは、プロダクトの利用状況やユーザーの利用心理には言及していないからです。
また、開発チームとユーザーの間に物理的、論理的な距離があるため、ユーザー目線に立ち、プロダクト開発やテストを行っても、その視点がユーザーの利用方法とマッチしていない場合もあります。
このようにユーザー目線に立ったプロダクト開発、リリースを行ったとしても、その効果は不確実性を含んでいます。そこで、プロダクトの価値提供をより確実なものにするために、「ユーザー行動」を使用します。
ユーザー行動には以下が含まれます。
・ユーザーインタビュー
・ユーザーからのフィードバック
・ユーザーからの問い合わせ
・ユーザーからの改善要望
・アクセスログ
そして、ユーザー行動から以下の情報を入手することができます。
・テスト対象を操作する目的
・テスト対象に対する期待と現状のギャップ
・テスト対象の機能を操作する前提条件（事前条件）
・テスト対象を使用する頻度
これらの情報は、開発チームが想定しているプロダクトの使い方を補正してくれます。その例を1つ紹介します。
Tebikiにはテスト機能があります。管理者が選択 / 記述形式の設問を作成でき、それらを指定したユーザーに回答させることができる機能です。（Googleフォームのようなものだと理解してください。）
そのテスト機能で得た気づきは、集合研修の1つとして、新入社員が一斉にテスト機能を使うシチュエーションがあるということです。
わたしたちは、新入社員毎に学習進捗は異なるため、新入社員が一斉にテスト機能を使用することはないだろうと考えていました。しかし、実際のユーザー行動は、集合研修の1つのコンテンツとして、動画マニュアルの視聴とテストも行っていました。
このようなユーザー行動から得た気づきをどのようにテストで活用するのでしょうか。
ユーザー行動に基づくテストとは
これらのユーザー行動は、ユーザー目線でのテストを補うことができます。
ユーザー目線でテストをしても、その視点がユーザー行動に基づいていなければ、開発チームとユーザー間で使用方法の齟齬がある状態でサービス提供し続けてしまいます。
そのため、このようなユーザー行動から得た気づきをシナリオテストや探索的テストのインプットにして、テスト条件を見直したり、テストケースを追加・変更したりすることで、よりユーザー行動に沿ったテストをすることができます。
また、レビューという視点では、ユーザー行動に基づいてチーム内で議論が行われるため、合意形成がスムーズになったり、シンプルな解決案を出しやすくしてくれます。
つまり、ユーザー行動に基づくテストとは、ユーザー行動をインプットにして、ユーザー目線のテストを洗練することを指します。
ユーザー目線、ユーザー行動を得るための取り組み
では、ユーザー目線、ユーザー行動を得るために何をすればよいでしょうか。
ユーザー目線を得るためには、まず、プロダクトそのものを知る必要があります。プロダクトが作られた背景、プロダクトが提供している機能を会社説明資料や操作マニュアルから学習します。
また、類似プロダクトが存在している場合、そのプロダクトとの比較を行い、自他プロダクトの優位性を確認します。
次に、UI／UXの概念を学習することで、より良いプロダクトを考える力を養います。
このようにユーザー目線は、ある程度エンジニア自身の独学で身につけることが可能です。
一方、ユーザー行動を得る方法は、営業やCSなどのビジネスチームから以下のようなタスクを通して、情報収集する必要があります。
・ ユーザーからの問い合わせ対応
・ ユーザーからのフィードバック、改善要望の確認
・ サービスデモの確認
・ 営業、CSチームとの対話
情報収集するためには、ビジネスチームからの情報開示や情報を集約させる仕組み作りが必要です。Tebiki社では、ユーザー行動を得る仕組み作りを積極的に行っており、現在、以下の仕組みを通じて、ユーザー行動を把握しています。
・ ビジネスチームの情報を得るコンテンツが充実しており、新入社員のオンボーディングに組み込まれている。
・ ユーザーからの問い合わせや機能要望がJiraで可視化されている。
・ スプリントレビューに事業責任者、CSチームメンバーが参加し、必ずコメントをもらえる時間を確保している。
・ データ基盤を構築し、ユーザー操作を追跡できるようになっている。
特に、新入社員のオンボーディングのコンテンツには、顧客にサービスデモをしている動画やユーザーが作った動画マニュアルを確認する内容が含まれています。それらのコンテンツを視聴することで、実際にユーザーがプロダクトを使って解消している課題やどのような機能を使って、動画マニュアルを作成しているか理解することができます。
まとめ
ユーザーの視点を持つことは一朝一夕でできるものではなく、エンジニア自身がユーザー行動に積極的にアクセスし、継続的に学習していくことが重要です。
Tebiki社ではユーザー行動に基づくテストが完全に実施できている状態ではありません。
しかしながら、プロダクト開発においては、CSチームを巻き込み、ユーザーに与える価値について意見交換できる風土があります。そして、頻繁なリリースを行い、素早い仮説検証を繰り返しながら、機能をブラッシュアップしています。
さらに組織がスケールアップするためには、QAチームがユーザー行動にもっとも詳しいチームである必要があると考えています。
今後、Tebiki QAチームがユーザー行動に基づくテストができるようにするために、CSとコミュニケーションを活性化させるための仕組みづくりや、リリースサイクルを早く、確実にするためのテストプロセス改善などに取り組んでいます。
具体的なTebki QAチームのロードマップは別記事で紹介します。こちらをお待ち下さい。
私たちは仲間を募集しています！
Tebiki社のQAエンジニアはスクラムチームのテスト技術研鑽に立ち向かっています。
引き続き、一緒にスクラムチームを積極的にサポートしたいQAエンジニアを募集しています。カジュアルに話をしたい方、お待ちしています！
