Тест желаемости

Когда использовать

Метод нужен, когда важно знать, какое впечатление создаёт дизайн, и сравнить несколько визуальных направлений. Например, при редизайне или когда нужно проверить, что дизайн совпадает с позиционированием бренда. Слова участников помогают договориться внутри команды, потому что спор «мне нравится» заменяется набором названных качеств.

Показывать можно скриншот или макет, взаимодействовать участнику не обязательно. Это удобно для опроса на десятки человек. Для первых секунд знакомства с экраном ближе пятисекундный тест, а если нужно просто выбрать более любимый вариант, хватит теста предпочтений.

Метод не измеряет удобство и не объясняет поведение, для этого есть юзабилити-тестирование. У него нет норм, по которым можно сказать, что результат хороший или плохой. Его применяют внутри проекта, сравнивая варианты или цель с результатом. Если вам нужна готовая стандартизированная шкала впечатления, посмотрите опросник AttrakDiff.

Что нужно для старта

• Вопрос, на который отвечает тест. Какое впечатление должен создавать дизайн и какие 3–5 качеств для него целевые
• Экран или макет в реалистичном виде. Скриншот в обычном контексте, без подробностей, которых не будет в продукте
• Набор слов. Если нужен готовый, берите полный список из 118 слов и сокращайте под свою задачу
• Участники из целевой аудитории. Для сравнения вариантов их потребуется несколько групп
• Инструмент для опроса, который умеет перемешивать слова
• Если нужны объяснения, ещё один вопрос после выбора или беседа

Как провести

1. Целевые качества

   Выпишите, какие качества должен вызывать дизайн, и какие нежелательны. Например, «надёжный» и «современный» хорошо, «скучный» плохо. Они понадобятся при разборе.

2. Набор слов

   Возьмите оригинальные 118 слов и уберите те, что говорят о функциях, содержании или скорости, если проверяете только внешний вид. Добавьте свои. Для опроса список лучше держать в пределах 25 слов, длинный утомляет и замедляет ответы. В списке нужны положительные, отрицательные и нейтральные слова. В оригинале около 60 % положительных и 40 % отрицательных. Заменяя слово, сохраняйте это соотношение.

3. Что показывать

   Покажите картинку так, как её увидит человек. Если сравниваете варианты, показывайте каждый своей группе. Если один человек видит оба варианта, меняйте порядок показа, чтобы он не влиял на результат.

4. Задание

   Попросите выбрать пять слов, лучше всего описывающих экран. В опросе перемешайте порядок слов для каждого участника, иначе часть людей просто берёт первые пять. По желанию спросите, почему выбраны именно эти слова, или оставьте поле для комментария.

5. Количество участников

   В кейсе со сравнением двух вариантов брали группы по 50 человек, ориентируясь на правило карточной сортировки (не меньше 30 на сегмент).

6. Разбор

   Посчитайте, какая доля участников выбрала каждое слово, и расположите слова по убыванию. Показывайте проценты, а не число голосов. Сравните группы или варианты. Если есть целевые качества, посчитайте, сколько человек выбрали хотя бы одно из них в своей пятёрке, и долю положительных и отрицательных слов. Пересечение слов у вариантов удобно показать кругами Эйлера.

7. Выводы

   Свяжите слова с элементами дизайна по комментариям и решите, что менять. Слово «скучный» у варианта без комментария остаётся цифрой. Если нужно объяснение, проведите несколько коротких интервью.

Результат

Таблица самых частых слов по каждому варианту с процентами, доля положительных и отрицательных слов, процент участников, выбравших целевые качества, и выводы по дизайну. К ней прикладывают самые показательные комментарии.

Типичные ошибки

• Слишком длинный список

  Утомляет людей и замедляет ответы. Для опроса оставьте до 25 слов.

• Слова всегда в одном порядке

  Часть участников выбирает первые пять слов. Перемешивайте порядок для каждого человека.

• Только положительные слова

  Нужны положительные, отрицательные и нейтральные слова, в оригинале отрицательных около 40 %.

• Слово понимают по-разному

  Одно слово читают по-разному, например один участник придал слову sophisticated неожиданно негативный смысл. При переводе так бывает ещё чаще, русское «простой» может прозвучать и как похвала, и как упрёк. Спрашивайте, почему выбрано слово.

• Выбор без причин

  В оригинальном методе после выбора слов спрашивают, почему они выбраны. Без объяснений слова остаются только цифрами.

• Считать индекс вместо удобства

  Метод не измеряет удобство и не даёт норм, по которым результат можно назвать хорошим. Рядом нужен юзабилити-тест или опросник.

• Выводы по статичной картинке

  Участники не взаимодействовали с макетом, поэтому метод не покажет впечатление от работы с интерфейсом.

Российская специфика

VK собрал свой набор, VKontakte Desirability Toolkit. Из 25 слов NN/g перевели на русский, голосованием дизайнеров и редакторов довели список до 59 карточек (35 положительных, 19 отрицательных, 5 нейтральных), а опрос пользователей отобрал слова, которыми можно и нельзя описать соцсеть для ежедневного использования. В итоговой колоде слова можно менять, но соотношение положительных, отрицательных и нейтральных нужно сохранять. Подробности — в статье VK на Хабре.

Кто использует

Команда Mad*Pow выбирала визуальное направление для страницы. Из полного списка она оставила 60 слов, сохранив соотношение 60 к 40, и провела опрос с тремя группами по 50 человек. Две группы видели по одному макету и выбирали пять слов, третья сравнивала оба варианта и называла любимый. Первый вариант (чёткие края, яркие цвета) выглядел понятным, но стерильным и безличным, второй (мягкая палитра, скруглённые углы) дружелюбным, профессиональным и надёжным. У него было заметно больше положительных слов, на нём команда и остановилась. Прямой вопрос о предпочтении дал примерно равный результат и пользы почти не принёс. Разбор кейса.

NN/g показал пять экранов 457 участникам. Молодые от 18 до 25 лет оценивали плоский дизайн в среднем на 0,53 балла выше, чем люди от 35 лет. Для традиционного оформления слова у групп почти не отличались, а для одного из плоских макетов 71 % старших выбрали слово «скучный», тогда как «профессиональный» назвали 59 % молодых и 29 % старших.