Модерируемые vs Немодерируемые методы

Когда использовать модерируемые методы

Модерируемые методы нужны, когда важно понять причины, а не только увидеть результат. Модератор задаёт уточняющий вопрос, когда участник застрял, и замечает язык тела и тонкие реакции. Модерируемая сессия обычно более сфокусирована и даёт больше находок, это более надёжная альтернатива. Для команд, которым важна глубина, она стоит дополнительных затрат.

Подходят сложные прототипы, которые вызывают много вопросов. Модерируемые сессии больше всего пригодятся на стадиях альфа, бета и в живом сервисе, чтобы проверять прототипы и готовые сервисы. Применять их можно и на раннем этапе, чтобы узнать о проблемах существующего сервиса. Участники выполняют задания и думают вслух (мышление вслух). Метод показывает, понимают ли люди, что делать, могут ли выполнить все задачи, где мешают формулировки и верстка, и даёт идеи улучшений. Подробнее в разборе юзабилити-тестирования.

Ограничения связаны с модератором и ресурсами. Участник может менять поведение, зная, что за ним наблюдают, формулировки модератора могут повлиять на ответы, а сами сессии требуют времени, денег и подготовленных людей.

Когда использовать немодерируемые методы

Немодерируемые методы нужны, когда ресурсы ограничены, задания простые и нужно быстро получить результаты от многих людей. Сессии идут где угодно и на любом устройстве, охват географии шире. Подходят понятные узкие задания, работающие сайты и прототипы высокой точности. Эти тесты плохо подходят для длинных и сложных заданий, потому что платформы ограничивают длину сессии. Если заданий много, каждому участнику дают часть.

Выигрыш во времени меньше, чем кажется, потому что записи всё равно нужно смотреть, и часы уходят на разбор. Если участник застрял, ему никто не поможет, уточняющих вопросов нет, а колебания остаются незамеченными. Добавляется риск участников, которые не подходят под профиль или не выполняют задания всерьёз. Поэтому участников набирают с запасом, например шесть вместо пяти.

Российский разбор подготовки немодерируемых тестов подготовили в Ozon Банке. Анкету строят из блоков приветствия, отбора, инструкций к заданиям, основных и закрывающих вопросов, а перед запуском проводят пилот на 20–30 респондентов. Тест не нужен, когда цели исследования неясны, результат не повлияет на решение, информация устареет к концу исследования или затраты превышают пользу.

Сравнение

Типичные ошибки

• Немодерируемый тест как единственный метод

  Такие тесты так быстры и просты, что некоторые команды делают их единственным способом оценки. Модерируемая альтернатива надёжнее и недорога.

• Длинные сложные задания без модератора

  Платформа ограничивает длину сессии, а некому объяснить непонятное.

• Набор без запаса

  В немодерируемых исследованиях чаще попадаются участники не по профилю и те, кто не относится к заданиям всерьёз.

• Подсказки в заданиях и частые перебивания

  Задание намекает на ответ или метод, а модератор перебивает слишком часто. Модератору лучше в основном молчать.

• Слишком много сессий в день

  Больше шести часовых сессий в день не планируют.

Как сочетать

Многие команды используют оба формата. Сначала немодерируемый тест находит крупные проблемы, затем модерируемые сессии объясняют их. Выбирают формат по инструментам, срокам, пользователям, набору участников и целям исследования.