Генеративные vs Оценочные исследования

Когда использовать генеративные методы

Генеративные методы нужны в начале, когда команда ещё не знает, что делать и для кого. Перед новым продуктом или функцией, при выходе на новый рынок, когда заинтересованные стороны спорят о потребностях пользователей. Исследование открытое и идёт за людьми, а не проверяет заготовленную гипотезу. Проблема может оказаться сформулированной иначе, чем думала команда. Результат — понимание и гипотезы, а не ответ «версия А лучше версии Б».

Типичные методы — полевые и дневниковые исследования, интервью с пользователями и стейкхолдерами, сбор требований и ограничений. В NN/g их относят к фазе стратегии, где ищут новые направления. К ним же причисляют совместное проектирование, проверку концепции и опросы. Русскоязычное введение с десятью методами даёт tl;dv.

Когда использовать оценочные методы

Оценочные методы нужны, когда есть что оценивать, то есть идея, прототип, дизайн или готовый продукт. Они находят проблемы удобства, сравнивают варианты и измеряют, получилось ли то, что планировали. Это часть итеративного проектирования. Оценку повторяют по мере развития продукта, а не проводят один раз перед запуском.

В NN/g оценочные исследования делят на формирующие и итоговые. Формирующие идут в ходе проектирования, это карточная сортировка, тест дерева, юзабилити-тестирование и удалённые тесты. Итоговые измеряют результат на фоне предыдущих версий или конкурентов, это юзабилити-бенчмаркинг, A/B-тестирование, аналитика и опросы. Подробнее в разборе формирующих и итоговых исследований. После запуска исследования продолжаются. Опросы, обзор аналитики, анализ поисковых запросов и разбор ошибок и вопросов пользователей помогают заметить новые проблемы.

Сравнение

Совпадение с типом данных неточное. Генеративные исследования чаще качественные, оценочные бывают и теми и другими. Один и тот же метод стоит по обе стороны. Открытая карточная сортировка, где люди сами создают и называют группы, ближе к генеративным, закрытая, где группы уже заданы, к оценочным. Вопрос опроса с готовыми вариантами ответа может служить любой цели, всё зависит от того, как его используют. Этапы работы тоже не всегда чётко разделены.

Типичные ошибки

• Спешка к решениям

  В генеративном исследовании команда торопится предложить решение, вместо того чтобы разобраться в проблеме.

• Наводящие вопросы

  Участника подводят к ответу, который команда хочет услышать.

• Функции вместо потребностей

  Исследование фокусируется на том, какие функции нужны, а не на том, что человек пытается сделать.

• Не те метрики

  Оценочное исследование измеряет то, что легко посчитать, а не то, что важно для цели.

• Цифры без «почему»

  Команда опирается на количественные данные и не понимает причин. Объяснить число помогает интервью или наблюдение.

• Решения по малой выборке

  Дизайн меняют по результатам, которых слишком мало для вывода.

Как сочетать

Хороший продуктовый процесс идёт в обе стороны. Генеративное исследование даёт понимание и гипотезы, оценочное проверяет конкретные решения, а находки оценки порождают новые вопросы для генеративного. Это цикл, а не линия.

На практике встречаются четыре схемы. Сначала генеративное исследование, потом концепции, потом оценка и доработка. Сначала оценка, когда находят очевидные проблемы удобства, затем изучают причины генеративными методами, перерабатывают и оценивают снова. Оба вида одновременно, например опрос вместе с интервью или юзабилити-тест вместе с контекстным исследованием. И постоянный ритм, при котором генеративные исследования идут регулярно, а оценочные вплетены в рабочие циклы.