Проверка концепции

Когда использовать

Метод отвечает на три вопроса ранней стадии. Понимают ли люди, что вы предлагаете. Решает ли это реальную проблему. Стали бы они этим пользоваться. Его проводят очень рано, на этапе открытия, и чем раньше, тем дешевле правки. Тестируйте, как только появилась версия, которую можно показать.

Хорошо метод работает, когда команда выбирает между несколькими направлениями, проверяет позиционирование или формулировку ценности. Дешевле сравнить реакцию на три концепции, чем разработать все три.

Это не юзабилити-тестирование. Здесь проверяют идею, а не удобство интерфейса, и вопрос звучит как «что строить», а не «как строить». Реакция на идею может отличаться от реакции на готовый продукт, а вежливые участники завышают оценки. Чем абстрактнее описание, тем ненадёжнее выводы. Если нужно глубже понять проблему, которую решает идея, добавьте глубинные интервью.

Что нужно для старта

• Гипотезы и порог успеха, записанные до сессий. Что должно подтвердиться, чтобы идти дальше
• Материал для показа. Текст, раскадровка, статичный макет, интерактивный прототип или видео. Выберите по зрелости идеи
• Одинаковая полировка всех концепций, если их несколько. Иначе победит та, что оформлена лучше
• Целевая аудитория и анкета-фильтр, чтобы отсеять случайных людей
• Решение о формате. Модерируемые сессии или немодерируемый опрос
• Вопросы, проверенные на коллегах до запуска

Как провести

1. Гипотезы и пороги

   Решите, что хотите узнать. Понятна ли ценность, привлекательна ли идея, готовы ли платить, какие функции важнее. Запишите метрики и порог, ниже которого идея не проходит, например доля участников, которые оценили концепцию на 4–5 из 5.

2. Материал

   Для ранней идеи хватит текста, раскадровки или бумажного прототипа. Бумажный прототип делается быстро, и участники не спрашивают про интерактивность. Если показываете кликабельный прототип, дайте точку входа, чтобы человек не чувствовал себя посреди дороги, и проверьте, что в нём нет тупиков. Показывайте материал кратко и без оценок.

3. Формат показа

   Выберите, как участники будут видеть концепции. Монадический тест показывает каждому одну концепцию и даёт чистую оценку, но требует отдельной группы на каждую. Последовательный монадический показывает все концепции по очереди в случайном порядке и экономит людей, но сессия длиннее и участники устают. Сравнительный ставит две-три концепции рядом и показывает предпочтение, но не оценку каждой по отдельности. Для трёх–шести разных концепций с ограниченным бюджетом выбирают последовательный показ. Для ответственного решения с похожими концепциями — монадический.

4. Вопросы

   Спрашивайте нейтрально. «Какова ваша первая реакция на эту идею?» или «Насколько это отвечает вашим потребностям?». Не пишите «Как сильно вам нравится эта идея?». Сначала проверяйте понимание, потом желание. Участник может правильно понять и не захотеть, а может захотеть, не поняв, для чего это. К каждой оценке по шкале добавляйте открытый вопрос «почему».

5. Участники

   Для качественной проверки нужно 5–8 человек на каждый сегмент аудитории. Для цифр берите от 50, лучше 100 и больше на концепцию. Для сравнения нескольких концепций по долям ориентир около 200 ответов на группу. Сегменты считайте отдельно, общий средний балл скрывает различия.

6. Разбор

   Сгруппируйте ответы по темам. Понимание, эмоции, воспринимаемая польза, барьеры, предложения. Сравните оценки с порогом, заданным до теста. Лучшая из слабых концепций всё равно может провалиться, поэтому смотрите не на место в рейтинге, а на пройденный порог.

7. Решение

   По итогам вариантов четыре. Идти дальше, доработать концепцию, отказаться от идеи или провести дополнительное исследование. Оформите вывод так, чтобы команда могла принять решение, не читая все записи.

Результат

Сводка по каждой концепции. Доли понявших, оценившие пользу и готовых использовать, главные барьеры, цитаты участников и решение. К ней прикладывают материалы, которые показывали.

Типичные ошибки

• Проверка слишком поздно

  Чем позже, тем дороже изменения. Если решение уже принято, тест превращается в формальность.

• Наводящие вопросы

  Формулировки вроде «Как сильно вам нравится идея?» дают ложное подтверждение.

• Игнорирование негативных ответов

  Критика нередко указывает на самые полезные улучшения. Отдельно читайте тех, кому идея не подошла.

• Один усреднённый результат

  Разные группы реагируют по-разному, а общая цифра этого не показывает. Составные оценки скрывают компромиссы, например высокую привлекательность при низкой уникальности.

• Неравная подача концепций

  Разная длина текста и разная детализация макетов решают исход вместо самой идеи. Если концепции отличаются больше чем одним параметром, вы не поймёте, что именно изменило оценку.

• Один порядок показа

  Первая концепция получает преимущество. Порядок перемешивайте между участниками.

• Выбор лучшей из слабых

  Рейтинг без порога легко приводит к запуску плохой идеи. Сравнивайте с заранее заданной планкой.

• Путаница с юзабилити-тестом

  Участники, которым показали макет, обсуждают кнопки и цвета. Направляйте разговор на пользу и понятность идеи.

Кто использует

Финам проверил идею системы онбординга для новых клиентов. Команда из шести человек собрала прототип из примерно десяти экранов и показала его пяти участникам. Первый прототип не дал убедительных результатов, второй после переработки тоже. Идея подошла примерно 30 % клиентов, и компания остановила разработку, на которую ушло бы два–три месяца. Подробности в рассказе агентства AGIMA на Хабре.