Опросы и анкетирование

Когда использовать

Опрос отвечает на вопросы «сколько» и «насколько» о том, что люди думают и чувствуют. Например, какая доля пользователей уверена, что правильно заполнила налоговую декларацию в приложении. Это единственный распространённый метод, который даёт количественные данные о мнениях.

Частый сценарий — проверить на масштабе то, что нашли глубинные интервью. Интервью показали, что функцию X не понимают. Опрос покажет, половина ли это аудитории или три человека из двенадцати. Опросом также узнают, какая доля аудитории относится к каждой персоне и сколько людей сталкивается с найденной проблемой.

Опрос не подходит для двух видов вопросов. Вопрос «почему» и «как исправить» решают качественные методы. Вопрос о поведении, например где бросают корзину, решают наблюдение и аналитика. Люди описывают своё поведение неточно, поэтому его лучше видеть, а не спрашивать о нём.

Что нужно для старта

• Вопрос исследования, на который отвечают «сколько» или «насколько»
• Доступ к аудитории — своя база, баннер в продукте или онлайн-панель
• Конструктор анкет
• Расчёт, сколько людей пригласить. Если откликается каждый десятый, на 250 ответов нужно около 2500 приглашений
• Несколько человек из аудитории, чтобы проверить анкету до запуска

Как провести

1. Вопрос исследования

   Сформулируйте, что хотите узнать, до того как открыть конструктор анкет. Каждый вопрос анкеты должен работать на эту цель. Если не можете объяснить, зачем вопрос нужен, удалите его.

2. Длина

   Люди начинают бросать анкету, если она занимает больше 7–8 минут, и до конца доходит на 5–20 % меньше людей. Ответы на длинные анкеты к тому же становятся торопливее. Укладывайтесь в 10 минут. Длинный список вопросов можно разбить на несколько коротких опросов и показывать каждый своей части аудитории.

3. Формулировки

   Один вопрос — одна мысль. «Насколько сайт удобен и понятен?» — это два вопроса, их разделяют. Не просите предсказать будущее, люди делают это плохо. Вместо «как часто вы пользуетесь приложением?» спросите «сколько раз за последние 7 дней вы открывали приложение?». Пишите нейтрально, без слов, которые подталкивают к ответу.

4. Варианты ответов

   Варианты должны покрывать все возможные ответы и не пересекаться, особенно в диапазонах вроде возраста. Шкала оценки — сбалансированная, с равным числом положительных и отрицательных вариантов вокруг нейтрального. В списке выбора оставляйте четыре-пять вариантов, больше человек не удерживает в голове. Добавьте «не знаю» или «не применимо» там, где это возможный ответ. Подробнее о формулировках — в руководстве Pew Research Center.

5. Порядок вопросов

   Ранние вопросы влияют на ответы на поздние. Начинайте с вопросов, на которые легко и интересно отвечать, не ставьте трудные подряд, а демографию переносите в конец. Открытые вопросы стоят в начале, чтобы готовые варианты не подсказывали ответ.

6. Обязательность

   Делайте большинство вопросов необязательными. На обязательный вопрос без подходящего варианта люди отвечают наугад или бросают анкету.

7. Проверка до запуска

   Дайте анкету пройти нескольким людям из аудитории и попросите рассказать вслух, как они поняли каждый вопрос. Так находятся двусмысленные формулировки и недостающие варианты. Этот шаг обязателен.

8. Сколько ответов нужно

   Размер выборки определяет точность. Для аудитории в 50 тысяч человек нужно 381 ответ, чтобы погрешность была 5 % при уверенности 95 %. Если 66 % ответивших читают новости с телефона, то для всей аудитории это 66 % ± 5 %. Около 100 ответов дают погрешность примерно ±10 %, около 400 — ±5 %, около 1000 — ±3 % (таблица погрешностей). Если откликается каждый десятый, для 250 ответов нужно разослать около 2500 приглашений.

9. Анализ

   Прежде чем считать, почистите выборку. Уберите ответы тех, кто не входит в аудиторию исследования, и проверьте, что пропорции групп совпадают с реальными. Если продуктом пользуются поровну бухгалтеры и директора, в ответах их тоже должно быть примерно поровну. Почти всегда хватает описательного анализа — долей, средних и медиан. Корреляции и регрессии нужны редко и затягивают исследование. Подробнее — в гайде Контура по анализу данных.

Для повторяющихся замеров удобны стандартные опросники. SUS — 10 утверждений с пятью вариантами ответа, итог от 0 до 100. Средний балл по почти 500 исследованиям — 68, и это не проценты, а точка отсчёта. NPS — один вопрос «насколько вероятно, что вы порекомендуете нас» по шкале от 0 до 10. Из доли ставивших 9–10 вычитают долю ставивших 0–6.

Результат

Главный результат — ответ на вопрос исследования в долях с погрешностью и числом ответивших. Обычно это слайд на каждый важный вопрос: распределение ответов и вывод одной фразой. Ответы на открытые вопросы сгруппированы по смыслу и посчитаны. Храните отдельно и сами данные — выгрузку ответов и сводные таблицы. К ним возвращаются, когда появляется новый вопрос, и не запускают опрос заново.

Типичные ошибки

• Спрашивать о желаниях и будущем

  «Воспользовались бы вы такой функцией?» — вопрос о будущем поведении, и ответам на него нельзя доверять. Спрашивайте о конкретном недавнем опыте.

• Отвечают только самые преданные

  При низкой доле ответов выборка смещается к самым вовлечённым пользователям. Выводы по такой выборке не переносятся на всю аудиторию, как бы уверенно ни выглядели цифры.

• NPS вместо оценки опыта

  NPS показывает, как люди относятся к продукту, но не почему, и слишком груб, чтобы оценить отдельный экран или сценарий. На отношение влияют цена и отсутствие альтернатив. Используйте его в паре с поведенческими метриками — долей выполненных задач и временем.

Российская специфика

Для своей аудитории подойдут российские конструкторы, например Яндекс Формы и Анкетолог. Если нужны внешние участники, их набирают через онлайн-панели. У панели Tiburon Research, по данным сервиса, около 670 тысяч респондентов и отдельная панель для B2B, у Анкетолога — около 330 тысяч активных.

Кто использует

Команда МойОфис использует опросы, модель Кано и анализ ключевых задач, чтобы решать, что делать в продукте. Руководитель исследований описал на Хабре их правила. Один вопрос проверяет один параметр, у вопросов есть варианты «не знаю» и «другое», а порядок вариантов перемешивается, если он не важен.