Тест ложной двери

Когда использовать

Метод нужен, когда надо быстро понять, стоит ли строить функцию. Он измеряет действие, а не слова. Опросам доверять трудно, потому что люди не всегда знают, чего хотят. Лучше всего тест работает для отдельных функций, которые объясняет короткая подпись.

Клик говорит, что идея заинтересовала, но не объясняет почему. Не показывает он и того, понравится ли функция в использовании. Причины выясняют отдельно, например на интервью с теми, кто оставил контакт. Нужен достаточный поток людей, чтобы результат стал статистически надёжным. Если команда уже видит интерес в аналитике или опросе, ложная дверь подтверждает его действием.

От обычного A/B-теста метод отличается тем, что рабочей функции за кнопкой нет. Для проверки понятности идеи на макетах ближе тестирование концепции.

Что нужно для старта

• Гипотеза с порогом, который задан до запуска. Например, «не меньше 15 % людей, открывших меню экспорта, нажмут на “Экспорт в Excel”»
• Продукт с аудиторией, в котором можно разместить кнопку или баннер
• Возможность показать дверь части пользователей и оставить контрольную группу без неё
• Страница или окно с честным ответом на клик и предложением оставить контакт
• Аналитика, которая считает показы и нажатия

Как провести

1. Гипотеза и порог

   Запишите, какая доля нажавших оправдает разработку, до запуска. Тогда результат нельзя истолковать в удобную сторону. Общего порога нет, команда решает, какой процент достаточен для её идеи.

2. Одна идея

   Проверяйте одну функцию одной дверью. Идея должна объясняться короткой подписью, иначе человек не поймёт, на что нажимает.

3. Сама дверь

   Кнопка выглядит как настоящий элемент интерфейса и стоит там, где человек ожидает увидеть функцию. Название берите то, под которым функция будет жить в продукте. Подпись можно сделать исследовательской, например «Нужен экспорт в PDF?». Это смягчает разочарование.

4. Аудитория

   Показывайте дверь тем, кому функция действительно может пригодиться, а не всем. Возьмите ограниченную часть пользователей и оставьте контрольную группу без двери. Заранее задайте дату окончания теста.

5. Ответ на клик

   Скажите прямо, что функции пока нет и вы проверяете интерес. Предложите что-то взамен, например сообщить о запуске или ответить на короткий опрос. Контакт оставлять необязательно. Нельзя вести человека в тупик или показывать пустую страницу.

6. Метрики

   Считайте долю нажавших от показов, а не число кликов. Смотрите, сколько нажавших оставили контакт, сколько кликов уникальных, через какое время после показа нажали, что человек делал дальше и чем отличаются сегменты. Тест идёт, пока результат не станет статистически надёжным.

7. Решение

   Сравните долю с порогом. Выше порога функцию можно проектировать или собирать из неё минимальную версию. Ниже порога идею отбрасывают или переформулируют. Тех, кто оставил контакт, зовут на интервью, чтобы понять мотивы.

Результат

Отчёт с воронкой. Сколько человек увидели дверь, нажали, оставили контакт, как это различается по сегментам и как соотносится с порогом. К нему прикладывают решение и список людей для интервью.

Типичные ошибки

• Не сказать, что функции нет

  Если человек нажал и ничего не произошло или попал на страницу, не совпадающую с обещанием, он чувствует обман. Всегда объясняйте, что происходит, и давайте возможность оставить контакт.

• Слишком много дверей

  Много ложных элементов подряд портят впечатление от продукта и доверие к нему. Один человек не должен видеть их слишком часто.

• Дверь в критический момент

  Если человек решает срочную задачу, например хочет скачать квитанцию сразу после платежа, а получает «спасибо за интерес», он раздражается.

• Показ всем подряд

  Дверь нужна тем, кому функция релевантна. Остальным она мешает и искажает результат.

• Порог после теста

  Когда критерий придумывают по итогам, любой результат можно объявить успехом.

Кто использует

Dropbox перед разработкой выпустил трёхминутное демонстрационное видео и форму записи в бета-версию. По словам основателя, лист ожидания вырос с 5 000 до 75 000 человек за ночь. Рассказ есть в статье автора The Lean Startup. Buffer вместо работающего сервиса сделал страницу с тарифами. Выбравший план видел, что сервис в разработке, и мог оставить контакт, а собранные адреса потом использовали для интервью, как описано в статье на Хабре.