データに基づくエンジニアリング: 使用状況の調査に基づく意思決定

こんにちは。Office Trustworthy Computing (TWC) チームの Peter です。TWC チームの主な業務の 1 つは、十分な情報を得たうえで設計に関する決断を下せるように、さまざまなアプリケーションの使用状況についてデータを収集することです。Send-a-Smile フィードバック ツールをご覧になったり、(これまでに寄せられたコメントによれば) 使用された経験があると思います。このような定性的なフィードバックに加えて、最近の 3 バージョンの Office には、カスタマー エクスペリエンス向上プログラム (CEIP) による遠隔測定法が組み込まれ、アプリケーションの使用状況の把握に役立てられています。定性的なデータと定量的なデータを組み合わせることで、設計上の方針決定に役立つ貴重な情報が得られます。

カスタマー エクスペリエンス向上プログラムとは

CEIP は、端的に言うと、Office の改善に役立つ匿名の任意参加型プログラムです。CEIP に参加すると、Office の使用状況に関する匿名のデータが、ときどきバックグラウンドでマイクロソフトにアップロードされます。

Office 2010 アプリケーションの初回実行時に、[Microsoft Office の保護と改善にご協力ください] というセクションで CEIP に関する設定を行う必要があります。また、CEIP は推奨設定に含まれています。セキュリティ センターのプライバシー オプションで設定することもできます。以前のバージョンでは、Office を初めて実行したときにポップアップ表示される [Office の品質を向上させるためにご協力ください] というバルーンを使用して、プログラムへの参加が行われました。

画像

もちろん、プライバシーは尊重され、お客様個人やお客様のデータを特定できる情報は一切収集されません。匿名データは何百万人もの他のお客様の情報と組み合わされ、Office の一般的な使用動向について全容を把握するために使用されます。

収集されるデータの内容

ブログの投稿では挙げきれないほど、アプリケーションに関して多くの情報を収集します。エンジニアリング チームは、関心があるデータ ポイントを定義し、データ収集用のソフトウェアに追加しています。これらのデータ ポイントは一般的に、次のカテゴリに分類されます。

  • 使用状況: データ ポイントの大部分はこのカテゴリに分類され、ソフトウェアの使用状況を示します。収集される情報には、リボン上のコマンド、一般的な機能の使用状況、ウィザードで行われた操作などが該当します。この情報を基に、「X を行うユーザーの数」や「X が発生する頻度」といった一般的な疑問の回答が得られ、また、「画像を含むドキュメントの数」や「Word 文書の平均サイズ」といった具体的な疑問の回答も得られます。
  • 信頼性とパフォーマンス: マイクロソフトでは、ソフトウェアが想定どおりのパフォーマンスを発揮していることを確認し、発揮していない場合は可能な限りの情報を収集したいと考えています。たとえば、信頼性を測定するために、開発者は論理的な矛盾 (想定されていた動作が起こらなかった場合など) が生じた時間を知らせるアサーションをコードに配置します。それらの現象が発生する頻度を知ることで、今後のリリースでの製品の改善に重点的に取り組むことができます。パフォーマンスに関しては、アプリケーションの起動やドキュメントの読み込みが高速に行われることが想定されています。ドキュメントのサイズや読み込み時間などの基本情報を収集することで、想定どおりのパフォーマンスが発揮されているかを検証できます。
  • ハードウェア/ソフトウェアの構成: 一般ユーザーが所有しているハードウェアや、各種 Office アプリケーションの構成状況は、前後関係を与える形でデータの解明に役立ちます。たとえば、ドキュメントの読み込みに時間がかかっていることが判明した場合、この現象は、搭載されている RAM が少ないコンピューターや、特定の速度のプロセッサーを搭載したコンピューターでのみ発生しているのでしょうか。ビデオ カードの特性が、PowerPoint での画面切り替えにどの程度影響しているでしょうか。言語とロケールによって使用状況はどのように異なるでしょうか。

TWC チームは、さまざまなアプリケーション チームが特定の使用状況に関して高品質の遠隔測定法のデータを得られるように、専門知識を教え、指導しています。月に 10 億以上のセッションを受信するため、データ集計に頼るところが大きく、各チームが担当のソフトウェアのユーザー利用状況を知りたいときに簡単にデータにアクセスできるように、分析ツールやレポート ツールをいくつか提供しています。

データの使用方法

CEIP に参加しているお客様からデータを収集する以前は、設計に関する決定は主に、製品の開発に長期間携わっているコンサルタント人員の意見や、開発メンバーの家族の個人的な感想 (エピソード) に基づいて行われていました。ラッキーなときは、Office Design Group の研究者からデータの一部を入手したり、企画チームが行った調査データを入手できました。確かにデータはありましたが、限られたユーザーからのもので、実際の業務に使用している一般ユーザーからはほとんどデータを得られない状態でした。Office 2003 リリースの開発を通じて、実際のユーザーがどのように Office アプリケーションを使用しているのかを把握するために、Office チームは CEIP データの活用を開始しました。毎回のリリースでツールセットを拡張し、実際の使用状況データを正しく理解し、評価できるようになっています。

Office 2010 では、こういった使用状況のデータを活用し、実際のユーザーによるアプリケーションの使用状況に関する疑問に答えていく形で、設計上の決定の多くがなされました。一例として、PowerPoint の特定のビューでリボンが折りたたまれている方がいいかどうかという疑問を検討してみましょう。議論の的となったのは、リボンがなくてもスライドショーの開始方法がわかるかどうかでした。スライドショーを開始する方法はいくつかありますが、レポート用ツールによって、各方法の使用頻度がわかりました。

画像

コマンド名と ID を基にして、65.9% のユーザーがリボン上で操作を行っていないものの、かなりの数のユーザー (25.6%) がリボンをクリックしていることがわかります。さらに詳しく掘り下げていくと、ユーザーの大多数が、ホットキーではなく、ステータス バーを使用して [スライドショー] コマンドにアクセスしていることがわかります。

画像

設計プロセスには単なるデータ以上の要素が関係していますが、この例は、皆さんに CEIP に参加いただくことが "専門家" の意見やエピソードよりもいかに役立つかを示しています。実際の使用状況について把握することは極めて重要で、最終的には、合理的な意思決定を行って、より良い製品を開発できるようになります。

今後の投稿では、製品の改善のために使用されている他のフィードバック メカニズム (信頼性の問題を検出および修正するためのエラー報告や、パフォーマンスや応答性の問題に関するデータの収集ツールなど) について概要をお伝えします。

開発サイクルにおけるデータの使用方法に関して、コメントや質問をお寄せください。

お読みいただき、ありがとうございました。

Peter Koss-Nobel (Office Trustworthy Computing チーム、シニア プログラム マネージャー リード)

原文の投稿日: 2009 年 11 月 3 日 (火曜日) 午後 4:41 投稿者: OffTeam

キーワード: 調査

これはローカライズされたブログ投稿です。原文の記事は、https://blogs.technet.com/office2010/archive/2009/11/03/data-driven-engineering-tracking-usage-to-make-decisions.aspx をご覧ください。