Бенчмаркинг

Когда использовать

Метод нужен, когда команде надо доказать или опровергнуть, что изменения сработали, и когда UX отчитывается перед бизнесом метриками. Лучше всего он работает как постоянная практика. Один замер до редизайна и один после покажут разницу, а замеры каждый квартал или релиз покажут тренд.

Метод не отвечает, почему метрика изменилась, и не подходит для поиска проблем. Это итоговая проверка версии, а не способ улучшить дизайн по ходу работы. Причины ищут юзабилити-тестированием и анализом аналитики. Чтобы сравнить свой продукт с чужими, берут конкурентный бенчмаркинг.

Метод требует дисциплины. Замеры сопоставимы только при одинаковых задачах, одинаковых вопросах и похожей аудитории. Стоит заранее решить, хватит ли команде ресурсов повторять замеры годами, иначе проще не начинать.

Что нужно для старта

• Пять–десять главных задач пользователя, на которые будете опираться
• Две–четыре метрики, которые описывают разные стороны опыта. Например, успешность задач и оценка удобства
• Способ замера, который команда умеет проводить. Количественное юзабилити-тестирование, опрос или данные аналитики
• Точка отсчёта. Для первого замера её нет, поэтому заранее выберите с чем сравнивать
• Привычка записывать условия каждого замера. Дату, версию продукта, аудиторию, внешние события

Как провести

1. Что измерять

   Выберите продукт, группу пользователей и пять–десять главных задач. Затем возьмите две–четыре метрики, которые описывают разное. Например, вовлечённость и эффективность задач. Метрики должны оставаться полезными годами, потому что вы будете собирать их снова и снова. Лучше выбирать те, что связаны с показателями компании.

2. Способ замера

   Выбирайте из количественного тестирования, опроса и аналитики. Учтите время, деньги и навыки команды. Опросный замер удобно сочетать с поведенческим. Сначала посмотрите, что уже собирает компания, возможно, данные есть. Способ нужно уметь поддерживать на протяжении многих лет.

3. Шкалы для опроса

   Для общей оценки удобства подходит SUS, десять вопросов, итог от 0 до 100. Среднее по сотням исследований около 68, и результат переводят в процентиль, чтобы его понимали заказчики. Для сайтов есть SUPR-Q, восемь пунктов и вопрос о готовности рекомендовать, с оценками удобства, доверия, лояльности и внешнего вида. Для сложности отдельной задачи подойдёт короткий вопрос после неё. Опросник не стоит раздувать, на 15–20 вопросах респонденты бросают заполнение, 8–10 нейтральных вопросов работают лучше.

4. Базовый замер

   Сначала проведите пилот и отбросьте его данные, если метод пришлось менять. Затем соберите базовые значения и запишите внешние факторы. Маркетинговую кампанию, сезон, изменения у конкурентов. Для самого первого замера сравнивать не с чем, поэтому его соотносят с отраслевым ориентиром или целью, которую поставил заказчик.

5. Изменения продукта

   Дальше команда меняет продукт, это отдельная работа, но без неё сравнивать нечего. Записывайте, что именно поменяли, чтобы потом связать изменение метрик с изменениями в продукте.

6. Повторный замер

   Повторите замер тем же способом на тех же задачах и с похожей аудиторией. Подождите, пока люди привыкнут к изменениям. Для продукта, которым пользуются ежедневно, хватает двух–трёх недель, для продукта, которым пользуются раз-два в неделю, нужно четыре–пять. Жёсткого правила нет, а все внешние события записывайте.

7. Разбор

   Проверьте статистикой, что разница не случайна, особенно при небольшой выборке. Читайте метрики по смыслу. Долгое время на задачу хорошо для чтения новостей и плохо для оформления заказа. Цифры в одном отчёте дополняйте разбивкой по сегментам, средняя оценка может прятать слабое место у части аудитории.

8. Связь с деньгами

   Если нужно обосновать вложения, свяжите изменения метрик с показателями компании. С затратами, прибылью, производительностью. Этот шаг необязателен.

Результат

Таблица замеров по версиям продукта. Для каждой метрики указаны значение до, значение после, с чем сравнивали, а также вывод, значима ли разница. К таблице прикладывают описание условий каждого замера. Дату, версию, аудиторию, метод и внешние события. Без этого через год никто не поймёт, что с чем сравнивали.

Типичные ошибки

• Одно число без точки отсчёта

  Единичное значение ничего не говорит. Сравнивайте с прошлой версией, конкурентом, отраслевым ориентиром или целью заказчика.

• Метод, которым команда не владеет

  Неверные цифры хуже отсутствия цифр. Берите способ, который команда умеет проводить и сможет повторять годами.

• Повторный замер сразу после запуска

  Люди сначала реагируют на крупные изменения негативно. Дайте им время привыкнуть, прежде чем снова опрашивать.

• Внешние события не записаны

  Рекламная кампания, сезон или изменение у конкурентов тоже сдвигают метрики. Документируйте их, иначе рост припишут редизайну.

• Среднее вместо сегментов

  Средняя оценка 4,4 может скрывать 2,0 на десктопе. Смотрите разбивку по устройству, возрасту и сценарию.

• Длинный опросник и наводящие вопросы

  Опросы на 15–20 вопросов бросают, а вопрос «нравится ли вам дизайн?» даёт социально приемлемые ответы.

• Одна трактовка для любой метрики

  Рост времени на задачу в одном продукте хорошо, в другом плохо. Читайте метрику в контексте продукта.

Российская специфика

Опубликованные нормы SUS и SUPR-Q не учитывают отрасль и культуру российской аудитории, поэтому главное сравнение — с вашим же прошлым замером.

Кто использует

Selectel измеряет успешность выполнения задач в облачной платформе каждый квартал. Задача — воронка из двух–пяти шагов, от открытия формы до успешного создания. События собирает PostHog, конверсия считается по уникальным пользователям в окне 14 дней, изменения в пределах плюс-минус 3 % считаются шумом. Базовые значения заданы по типам сервисов, около 48 % для основных сервисов, 33 % для вспомогательных и 20 % для сложных. Балансировщик нагрузки вырос с 8 % до 13 % примерно через полгода после редизайна. Разбор команды на Хабре.

AGIMA после редизайна сайта Халва проводила опрос SUPR-Q: восемь утверждений по шкале от 1 до 5 во всплывающем окне, один раз за сессию, только тем, кто завершил ключевой сценарий. Общая оценка выросла с 3,82 до 4,91, самым заметным оказался прирост у удобства покупки (с 3,0 до 4,8). Размер выборки и значимость в статье не названы. Рассказ команды.