Протокол мышления вслух

Когда использовать

Мышление вслух — возможно, самый ценный метод юзабилити-инженерии. Оно показывает, как пользователи на самом деле понимают интерфейс, какие у них ошибочные предположения и почему одни элементы понятны, а другие нет. Метод дешёвый, не требует оборудования, терпим к неидеальному проведению, годится на любой стадии разработки и для любых интерфейсов. Он ещё и убеждает команду, когда она видит реакцию реальных людей. Подробнее о методе — в статье NN/g.

Для детальной статистики мышление вслух слабо подходит, поэтому его сочетают с другими методами, например с A/B-тестированием. Перед тестом можно прогнать экспертную оценку, чтобы убрать очевидные проблемы.

Есть два варианта. При одновременном участник говорит прямо во время задачи. При ретроспективном он сначала выполняет задачу молча, потом смотрит запись и комментирует. Для поиска проблем чаще берут одновременный. Участники называют больше проблем, а времени исследователя уходит вдвое меньше. На выполнение задач и впечатления от теста выбор варианта не влияет. При одновременном задачи идут дольше, зато весь тест короче. При ретроспективном участники произносят больше объяснений, формулировок проблем и предложений по дизайну, но могут забыть проблемы, а тест растягивается больше чем на час.

Что нужно для старта

• Репрезентативные участники и типичные задачи
• Прототип или работающий продукт
• Запись экрана и звука
• Короткое демонстрационное видео мышления вслух или тренировочное задание
• Сценарий с инструктажем, где участнику объясняют, что от него ждут

Как провести

1. Участники и задачи

   Подберите репрезентативных пользователей, дайте им типичные задачи и дайте говорить, не перебивая. На одну выборку проводят от 5 до 10 тестов. О подготовке самого теста — в статье про юзабилити-тестирование.

2. Инструктаж

   Попросите участника вслух называть, на что он обратил внимание и что собирается делать. Скажите, что любая реакция допустима и критика приветствуется, что тестируют решение, а не человека, и что часть вопросов отложена до конца встречи. После инструктажа проверьте, что всё понятно. Монологом инструктаж быть не должен, делите его на короткие блоки. Формулировки инструктажа разобрал UX-исследователь Контура на Хабре.

3. Демонстрация

   Покажите участникам короткое видео, где человек думает вслух. Оптимальная длина около минуты, двухминутная оказалась слишком длинной. В видео должен быть не тестируемый интерфейс. Говорит сотрудник без пауз, и в комментариях звучат ожидания, неожиданные результаты, непонятные формулировки и оценка простоты. Подробнее об этом приёме — в статье NN/g. Заранее сообщите, что сессия записывается.

4. Сессия

   Модератор в основном молчит. Есть три приёма, когда нужно помочь. «Эхо» повторяет последние слова участника с вопросительной интонацией. «Бумеранг» отвечает на вопрос нейтральным встречным вопросом, например «что бы вы сделали дома». «Коломбо» строит фразы неполными, и участник продолжает мысль сам. Прежде чем заговорить, мысленно сосчитайте до десяти.

   Копите вопросы до конца задачи или блока и делайте пометки. На вопрос «я правильно действую» отвечайте «а как вы сами думаете». Подсказывайте постепенно и только после того, как человек перепробовал несколько вариантов. Правила модератора подробно описаны в блоге VK.

5. Фиксация

   Фиксируйте затыки, эмоции и ошибки. Смотрите не только на слова, но и на поведение: человек может сказать, что проблем нет, а сам долго мучиться с заданием. По записям 27 сессий участники говорили около трети времени. Половину высказываний составили описания действий, 27 % — объяснения решений.

Результат

Запись сессии и протокол с цитатами, действиями и отметками. После встреч сохраняют видео и аудио, транскрипты и нарезки записей. Список проблем и выводы собирают уже по протоколам нескольких участников.

Типичные ошибки

• Наводящие вопросы

  Неопытный модератор вопросами легко меняет поведение пользователя. Тогда результат не отражает реального использования, и такие фрагменты лучше исключить из анализа. Не отвечайте на вопросы участника напрямую и не задавайте вопросы с ответом «да» или «нет».

• Опора только на слова

  Слова и действия участника могут расходиться, поэтому наблюдайте за поведением.

• Замер времени и оценок во время мышления вслух

  По десяти исследованиям, задачи при мышлении вслух занимали в среднем на 16–20 % дольше, а оценки простоты и уверенности были ниже примерно на 5 %, хотя результаты неоднородны. Если нужны метрики, а не поиск проблем, берите обычный формат.

• Единственный метод

  Метод плохо подходит для детальной статистики, поэтому его сочетают с другими.

Кто использует

Исследователи Lamoda рассказывают в блоге компании, что мышление вслух и активное вмешательство модератора применяют чаще всего, иногда комбинируя. Руководитель направления UX-исследований Mail.Ru Group описала в блоге VK правила модератора, а UX-исследователь Контура — формулировки инструктажа в сценарии теста.