MaxDiff

Когда использовать

Метод нужен, когда надо упорядочить список по важности. Какие функции делать в первую очередь, какое сообщение на лендинге сильнее, какая выгода убедительнее. Списки для него подходят от 8 до 30 пунктов. Меньше восьми хватит обычного ранжирования, а больше тридцати респонденты устают.

Рейтинг относительный. Он показывает, как пункты соотносятся друг с другом, но не говорит, насколько каждый важен сам по себе. Респондент выбирает лучшее и худшее даже тогда, когда ему безразличны все пункты, поэтому метод не покажет, нужны ли функции вообще. Для новых функций, с которыми у людей нет опыта, он может дать ложно-положительный сигнал. Спрос на такие функции проверяют тестом ложной двери и интервью.

Если нужны цена и готовность платить или взаимодействие характеристик, берут совместный анализ. Для ранжирования списка без цены MaxDiff проще и быстрее.

Что нужно для старта

• Список пунктов на одном уровне детализации и с параллельными формулировками
• Аудитория продукта и инструмент, который строит сбалансированные наборы и считает итог
• Выборка от 200 человек, а если сравниваете группы, от 200 на группу
• Пять–десять минут участия на человека
• Отдельный способ проверить, нужны ли пользователям функции из топа

Как провести

1. Список

   Соберите от 8 до 30 пунктов. Описывайте их одинаково и убирайте дубли. Если в списке меньше восьми пунктов, задайте обычный вопрос на ранжирование.

2. Размер набора

   Показывайте по четыре–пять пунктов. Не показывайте больше половины всего списка. Свыше пяти пунктов в наборе точность почти не растёт, а утомление растёт.

3. Число наборов

   Каждый пункт должен встретиться у респондента от трёх до пяти раз. Минимум наборов получается так: число пунктов, умноженное на три, делённое на размер набора. Для 20 пунктов по четыре в наборе выходит 15 наборов. Типичный респондент проходит 10–15 наборов.

4. Выборка

   Для 20 пунктов и наборов по четыре нужно около 200 респондентов, для 30 пунктов или сложной сегментации 400 и больше. Анализ по сегментам требует своей выборки на каждый сегмент. Если людей мало и каждый видит пункт реже одного раза, нужен упрощённый (разреженный) план, и тогда каждый пункт должен набрать не меньше 500 показов на изучаемую группу.

5. Опрос

   Запустите опрос и следите за доходимостью. Всё занимает обычно 5–10 минут.

6. Расчёт

   Самый простой счёт показывает, как часто пункт выбирали лучшим и как часто худшим. Оценка пункта — это доля выборов «лучший» минус доля «худший». Пункт, который назвали лучшим 70 % и худшим 5 %, получит 65 очков, а выбранный лучшим 35 % и худшим 30 % только 5. Для оценок на уровне отдельных людей используют иерархическую байесовскую модель, в инструменте Sawtooth она включена по умолчанию.

7. Разбор

   Посмотрите верхние пять и нижние пять пунктов. Пересчитайте итог отдельно по ключевым сегментам.

8. Проверка нужности

   Рейтинг показывает порядок среди предложенных вариантов. Нужны ли эти функции людям, проверьте другим методом до того, как строить по ним план.

Результат

Рейтинг пунктов с долей выборов «лучший» и «худший» и итоговой оценкой, а также те же цифры по сегментам. К ним прикладывают описание списка, дизайна наборов и выборки.

Типичные ошибки

• Слишком большие наборы

  Больше пяти пунктов в наборе утомляют, а точность почти не растёт. Показывайте четыре–пять и не больше половины списка.

• Слишком мало наборов

  Если пункт встречается реже двух раз на человека, оценки получаются шаткими. Рассчитайте число наборов по формуле.

• Список короче восьми пунктов

  Для маленьких списков хватает обычного ранжирования, MaxDiff только усложняет опрос.

• Читать оценку как абсолютную важность

  Баллы относительные. Высокое место в списке не значит, что пункт важен людям в принципе.

• Считать рейтинг доказательством потребности

  Респондент выбирает лучшее и худшее и тогда, когда все варианты ему безразличны. Для новых функций проверьте спрос отдельно.

• Строить наборы вручную

  Нужен сбалансированный дизайн блоков, без программы или статистика его не собрать.

• Брать MaxDiff для цены

  Он не показывает готовность платить. Для цены используют совместный анализ.

Российская специфика

Команда МТС в своём разборе описывает его как ранжирование функций внутри заданного списка и считает, что для инноваций он даёт ложные сигналы, поэтому оценивает не функции, а проблемные ситуации. Агентства называют MaxDiff упрощённым вариантом конджойнта.