Разработка на основе собранных данных: контроль использования для принятия решений

Привет, меня зовут Питер, и я работаю в группе безопасности Office Trustworthy Computing. Одной из задач группы является сбор данных об использовании различных приложений, которые позволят нам принимать обоснованные решения. Возможно, вы уже знакомы с нашим средством получения отзывов Send-a-Smile и даже пользовались им. Помимо этой качественной обратной связи, последние 3 версии Office обеспечивали предоставление телеметрии в рамках программы улучшения качества программного обеспечения, которая помогает нам понять, как используются приложения. Объединение качественных и количественных данных становится важной основой для принятия обоснованных проектных решений.

Что такое программа улучшения качества программного обеспечения?

Вкратце, программа улучшения качества программного обеспечения — это анонимная добровольная программа, помогающая нам улучшить Office. Если пользователь соглашается участвовать в этой программе, анонимные данные об использовании этим пользователем Office в фоновом режиме периодически передаются в корпорацию Майкрософт.

При первом запуске Office 2010 пользователю будет предложено выбрать параметры участия в программе "Помогите защитить и улучшить Microsoft Office" (Help Protect and Improve Microsoft Office), и программа улучшения качества программного обеспечения будет включена в рекомендуемые параметры. Изменить параметры участия в программе можно также в параметрах конфиденциальности Центра управления безопасностью. В предыдущих версиях участие оформлялось с помощью выноски "Помогите сделать Office лучше!" (Help Make Office Better), появлявшейся при первом запуске Office.

Конечно, мы уважаем конфиденциальность пользователя и не собираем никаких сведений, которые могли бы позволить идентифицировать пользователя или его личные данные. Анонимные данные миллионов пользователей объединяются, создавая широкую картину использования Office.

Что мы собираем?

Мы собираем множество сведений о наших приложениях, число которых слишком велико, чтобы перечислять их в записи блога. Инженерные группы определили нужные контрольные точки и добавили их в программное обеспечение для сбора данных. Эти данные обычно делятся на следующие категории:

• Использование. В эту категорию попадает множество контрольных точек, сообщающих нам о том, как используется программное обеспечение. Часть собранных данных относится к командам, размещенным на ленте, использованию общих функций, действиям, выполняемым в мастерах, и т. д. Эти данные дают нам ответы как на общие вопросы, такие как "сколько пользователей выполняют действие X" и "как часто происходит событие X", так и на конкретные вопросы, такие как "сколько документов содержат рисунки" и "каков средний размер документа Word".
• Надежность и быстродействие. Нам нужна уверенность в том, что наше программное обеспечение работает ожидаемым образом, и требуется максимально возможное количество данных в случае какого-то сбоя. Например, для измерения надежности разработчики вставили в код подтверждения, сообщающие о логическом противоречии (например, не произошло что-то ожидаемое) — знание того, как часто это происходит, поможет нам сфокусироваться на улучшении продукта в будущих выпусках. В случае быстродействия мы ожидаем, что приложения будут быстро загружаться и открывать документы — сбор основных данных, таких как размер документа и время загрузки, позволяет нам проверить, насколько качественный продукт мы создали.
• Конфигурация оборудования/программного обеспечения. Знание того, какое оборудование используют пользователи и как они настроили различные применяемые приложения Office, помогает нам интерпретировать полученные данные в предоставленном контексте. Например, заметив большое время загрузки документов, мы можем понять вызвано ли оно только малым объемом ОЗУ и скоростью работы конкретной модели процессора или другими причинами? Как характеристики видеокарты влияют на переходы в PowerPoint? Как использование продукта различается для разных языков и региональных параметров?

Группа безопасности Office Trustworthy Computing предоставляет свой опыт и рекомендации другим группам приложений, позволяя им получать высококачественную телеметрию об использовании конкретных приложений. Получая ежемесячно данные более чем миллиарда сеансов, мы интенсивно объединяем данные, предоставляя различные средства анализа и построения отчетов, чтобы упростить доступ к данным для других групп, которым нужно знать, как их клиенты используют свое программное обеспечение.

Как мы используем эти данные?

До того, как мы стали получать данные от пользователей, участвующих в программе улучшения качества программного обеспечения, проектные решения часто опирались на мнения консультантов, долгое время работающих над продуктом, или личные наблюдения, скажем, членов чьих-то семей. В лучшем случае можно было воспользоваться данными исследователей из группы проектирования Office или результатами опроса, проведенного группой планирования. Источником этих данных была ограниченная выборка пользователей, и данные редко получались от реальных пользователей, выполняющих реальную работу. При разработке выпуска Office 2003 группы Office начали использовать данные этой программы, чтобы лучше понять, как приложения Office используются реальными пользователями. С каждым выпуском мы расширяли наш набор инструментов, а также наши улучшали представление и оценки данных о реальном использовании приложений.

Для многих проектных решений в Office 2010 мы использовали собранные данные о применении, чтобы ответить на вопросы, опираясь на реальное использование приложений реальными пользователями. В качестве примера возьмем вопрос о том, должна ли лента сворачиваться, когда пользователь открывает конкретный вид в PowerPoint — спор был о том, смогут ли пользователи понять, как в этом случае запустить показ слайдов. Нами предусмотрено несколько точек входа для запуска показа слайдов, и средство создания отчетов показало, как часто используется каждая из этих точек.

С учетом имен и идентификаторов команд мы знаем, что в 65,9% случаев лента не используется, но все же значительное число пользователей (25,6%) щелкает ленту. Мы можем углубиться дальше и увидеть, что огромное большинство пользователей используют команду "Показ слайдов" в строке состояния, а не сочетание клавиш.

Хотя процесс проектирования не ограничивается только сбором данных, этот пример показывает, как участие в программе улучшения качества программного обеспечения может заменить мнения "экспертов" и слухи. Знание о реальном использовании очень важно и в итоге позволяет нам принять разумные решения и создать более качественный продукт.

В будущих записях мы представим обзор других механизмов обратной связи, используемых нами для улучшения продукта, таких как отчеты об ошибках для поиска и решения проблем надежности, а также средство сбора данных о проблемах быстродействия и реагирования.

Я жду ваших комментариев и вопросов о том, как собранные данные используются в цикле разработки.

Спасибо,

Питер Косс-Нобель, старший руководитель программы, группа Office Trustworthy Computing

Дата исходной публикации: четверг, 3 ноября 2009 г., 16:41. Автор: OffTeam

Размещено в категории: Исследования

Это локализованная запись блога. Исходная статья доступна по адресу https://blogs.technet.com/office2010/archive/2009/11/03/data-driven-engineering-tracking-usage-to-make-decisions.aspx.