Оценка предпочтений

Когда использовать

Метод нужен на ранней стадии, когда надо выбрать между несколькими макетами. Он хорошо работает для отдельных экранов и элементов. Варианты главной страницы, логотипы, карточки, цветовые схемы, компоненты интерфейса. Перед редизайном им удобно сравнить предложенные варианты с текущим. Для многошаговых сценариев и сложных взаимодействий он не годится, потому что человек оценивает картинку, а не то, как это работает.

Предпочтение не равно удобству. Привлекательное кажется удобнее. Участник может мучиться с задачей и всё равно хвалить внешний вид. Поэтому метод показывает восприятие, доверие и привлекательность, а работает ли вариант лучше, проверяют юзабилити-тестированием или A/B-тестом. Лучше собрать и предпочтение, и результат выполнения задач, а потом сверить расхождения. Для быстрой проверки первого впечатления есть пятисекундные тесты.

Что нужно для старта

• Решение, которое предстоит принять. Что вы хотите узнать, привлекательность, доверие или понятность, и как это измерите
• Два или три варианта одинаковой проработки и одного размера
• Участники, похожие на вашу аудиторию. От 20 человек, 30 и больше при нескольких вариантах или когда нужна статистика
• Инструмент, который меняет порядок показа вариантов, либо таблица ротации для очного теста
• Три вопроса. Выбор, «почему» и один про качество, которое вам важно

Как провести

1. Цель и метрика

   Сформулируйте решение одной фразой и выберите измерение. Доля предпочтений, оценка доверия или понятности.

2. Варианты

   Берите два или три. Больше участнику трудно сравнивать. Варианты должны отличаться заметно, иначе человек не поймёт, чем они различаются. Но и различий не должно быть много, иначе вы не узнаете, что сработало. Проработка у вариантов одинаковая, иначе участники реагируют на качество исполнения, а не на дизайн.

3. Вопросы

   Основной вопрос звучит так. Какой вариант вам нравится больше? Затем «Почему вы выбрали этот?» открытым вопросом. И два–три конкретных. Какой вызывает больше доверия? В каком проще понять, о чём страница? Вопрос «какой вариант лучше» слишком расплывчат.

4. Порядок показа

   Меняйте порядок от участника к участнику. Если один вариант всегда первый, его выбирают чаще.

5. Проведение

   Онлайн-инструмент показывает варианты в случайном порядке и собирает ответы у многих людей. Для оценок удобна шкала от 1 до 5. Если сравниваете пары, показывайте каждую пару несколько раз в случайном порядке и ограничивайте время выбора.

6. Разбор

   Посчитайте долю выбравших каждый вариант и оценки по качествам. Сравните с тем, что дал бы случайный выбор. Затем сгруппируйте ответы «почему» по темам и превратите их в действия. Что менять, что оставить, что проверить дальше.

Результат

Таблица долей по вариантам, оценки по качествам, группы причин из ответов «почему» и решение. Что выбираем, что дорабатываем, что проверяем дальше на поведении.

Типичные ошибки

• Разная проработка вариантов

  Если один макет детальный, а другой схематичный, участники реагируют на качество исполнения.

• Больше трёх вариантов

  Сравнить четыре и более трудно, ответы становятся случайными.

• Много различий сразу

  Когда варианты отличаются десятком мелочей, непонятно, какая из них решила выбор.

• Один вариант всегда первым

  Порядок влияет на выбор. Меняйте его.

• Нет вопроса «почему»

  Процент без причин показывает популярность, а не что делать. Ответы «почему» часто ценнее самого голосования.

• Слишком похожие варианты

  Участник не видит разницы и выбирает случайно.

• Вопрос «какой лучше»

  Без критерия каждый понимает «лучше» по-своему. Спрашивайте про конкретное качество.

• Предпочтение как доказательство удобства

  Выбор вариантов говорит о восприятии. Что человек справляется с задачей, нужно проверить отдельно.

Кто использует

Usability Lab сравнивала дизайн приложения банка «Русский Стандарт». Три новых варианта сопоставили со старым по трём экранам, главной, списку продуктов и подтверждению платежа. Каждую пару показывали по четыре раза с лимитом в пять секунд, всего 72 пары и 73 респондента. Новый вариант 1 выбирали в 69 % сравнений, старый только в 35 %. Подробности в презентации компании. Готовую анкету для сравнения двух интерфейсов описала команда Ozon Банка в блоге на Хабре.