Качественные vs Количественные методы

Когда использовать качественные методы

Качественные методы нужны, когда важнее понять, а не измерить. Если команда не знает, почему люди бросают шаг, нужно наблюдать и расспрашивать. Они дают материал для решений в дизайне. Это самое выгодное соотношение пользы и затрат, и такие методы менее чувствительны к недостаткам методики, чем количественные.

Для качественного исследования хватает небольшого числа людей. Пять участников на итерацию находят около 85% проблем, если один человек сталкивается с проблемой с вероятностью 31%. Если проблема мешает каждому пятому, нужно девять участников, чтобы поймать её с той же вероятностью, а если каждому десятому, то восемнадцать. Каждый лишний участник стоит денег, а новых находок становится всё меньше. Подробнее о выборке в юзабилити-тестировании.

Качественные наблюдения замечают то, что малая количественная выборка пропускает, например колебания и почти сделанные ошибки. Карточная сортировка, проверка концепции и исследование желательности бывают и качественными, и количественными.

Когда использовать количественные методы

Количественные методы нужны, когда надо измерить масштаб, сравнить варианты или расставить приоритеты. Одно число легко донести до команды. Оно помогает распределять ресурсы, сравнивать дизайны и следить за изменением во времени, поэтому на количественных данных строят бенчмаркинг и расчёт отдачи от вложений. Подходят опросы, A/B-тестирование, аналитика и бенчмаркинг.

Правило пяти участников здесь не работает. Количественные исследования оценивают показатели по всем людям, например долю выполненных задач и время на задачу, а малая выборка даёт широкий доверительный интервал. Обычно нужно больше 30 участников, а достаточно узкие интервалы получаются у сорока и больше. В материалах 2012 года нижняя граница ниже, не меньше 20 для значимых чисел. Для карточной сортировки берут не меньше 15 человек на группу, для стабильных тепловых карт айтрекинга 39.

Сравнение

Типичные ошибки

• Количественные результаты считают надёжнее по умолчанию

  Проектное исследование ближе к этнографии, чем к медицине. Количественное исследование обманчиво, если не сделано безупречно во всех деталях, а качественное устойчивее к ошибкам метода.

• Пять участников для измерения показателей

  Модель пяти участников работает для поиска проблем, а не для оценки долей и времени.

• Охота за корреляциями

  Когда измеряют много переменных, случайных связей получается много.

• Искажённое измерение

  Формулировка задач, помощь участникам и вопросы о конкретных элементах меняют поведение, и числа получаются не те.

• Один-два метода на всё

  Почти любому проекту нужны несколько методов, а команды часто опираются на один-два.

Как сочетать

Качественные и количественные методы дополняют друг друга. Качественные подсказывают, что менять в дизайне, количественные позволяют сравнить варианты, сравнить с конкурентами и посчитать отдачу. Нужно выбирать метод под вопрос, а не по привычке.

В смешанных исследованиях встречаются три схемы. В объясняющей последовательной сначала делают количественный анализ, а потом интервью или другой качественный метод, чтобы объяснить результат. В исследующей последовательной сначала идёт качественное исследование, по его выводам строят количественное. В сходящейся параллельной оба вида данных собирают одновременно и анализируют вместе. Описание схем есть в статье на Хабре.