Multivariate-тестирование

Когда использовать

Метод нужен, когда несколько элементов страницы, скорее всего, работают вместе, и вы хотите понять не только победителя, но и вклад каждого. Например, текст кнопки добавил 2 % кликов, а цвет 5 %. Сумма ожидается в 7 %, а вместе они дали 10 %. Такое сочетание видно только тогда, когда проверяют комбинации.

Условие жёсткое. Трафик делится на все комбинации, и каждой нужна выборка, как для отдельного A/B-теста. Даже на сайте с большим трафиком трудно завершить эксперимент больше чем с 25 комбинациями. Поэтому на практике метод доступен продуктам с очень большой аудиторией.

Для всего остального надёжнее серия A/B-тестов. Один фактор за раз даёт понятные выводы, радикально разные дизайны тоже сравнивают A/B-тестом, а MVT берут после него как этап оптимизации. Факторные планы оправданы, когда несколько факторов заметно влияют друг на друга, и при этом число факторов и значений держат маленьким. Причины, по которым пользователи ведут себя так, а не иначе, этот метод не объясняет, их ищут в юзабилити-тестировании и аналитике.

Что нужно для старта

• Страница с большим трафиком и одной понятной целевой метрикой
• Гипотеза, основанная на данных. Что показывают аналитика, записи сессий, юзабилити-тесты
• Элементы, которые не пересекаются по смыслу. Иначе результаты исказят друг друга
• Расчёт выборки заранее и заранее выбранный срок теста
• Инструмент для экспериментов, который сам делит трафик между комбинациями
• Аналитик, который сможет разобрать взаимодействия, а не только победителя

Как провести

1. Проблема и гипотеза

   Найдите место, где люди теряются, по аналитике и качественным данным. Запишите, какую метрику хотите сдвинуть и что, по вашему мнению, для этого нужно изменить.

2. Факторы и значения

   Разделите гипотезу на факторы (заголовок, картинка, кнопка), а каждый фактор на значения. Число комбинаций получается умножением. Три заголовка, две картинки и две кнопки дают 12 комбинаций. Чем меньше факторов и значений, тем быстрее закончится тест. Проверьте, что среди комбинаций нет бессмысленных, например синей кнопки на синем фоне.

3. Трафик

   Рассчитайте размер выборки до запуска. Нужное число пользователей растёт пропорционально квадрату числа вариантов. Чтобы заметить рост конверсии на 20 % (с 5 % до 6 %) при двух вариантах, нужно около 30 тысяч пользователей, а при восьми комбинациях по той же формуле около 490 тысяч, примерно по 61 тысячи на комбинацию. Если трафика не хватает, сократите число значений или выберите серию A/B-тестов.

4. Полный или дробный план

   Полный план проверяет все комбинации и делит трафик поровну, он ничего не предполагает о данных и показывает взаимодействия. Дробный проверяет часть комбинаций, а результаты остальных оценивает по модели. Трафика ему нужно меньше, но он опирается на допущения и показывает взаимодействия не целиком. Часть комбинаций можно исключить вручную, если они заведомо плохие.

5. Запуск

   Запустите все варианты одновременно, иначе на результат влияют день недели, время суток и сезон. Не ставьте на один и тот же сегмент больше двух–трёх тестов сразу, чтобы они не влияли друг на друга.

6. Ожидание

   Не заглядывайте в результаты, чтобы остановиться при первой значимости. Размер выборки задан заранее, тест идёт, пока каждая комбинация её не наберёт.

7. Разбор

   Проверьте значимость, оцените вклад каждого элемента и посмотрите на сочетания. Удобно свернуть данные по одному значению. Если оно в сумме по комбинациям выигрывает намного больше, чем в одиночном тесте, взаимодействие положительное. Для основательного анализа нужен дисперсионный анализ. Если результат неожиданный, подключите качественные данные.

Результат

Таблица комбинаций с конверсией и размером выборки, оценка вклада каждого элемента и взаимодействий, решение, какую комбинацию внедрять. К таблице прикладывают описание, что и когда тестировали.

Типичные ошибки

• Запуск без достаточного трафика

  Результат по каждой комбинации шумный, а время растёт с числом вариантов. Лучше начать с меньшего числа факторов.

• Остановка при первой значимости

  Если проверять результат много раз и останавливаться на первой значимой разнице, ложные срабатывания растут. В примере с остановкой на 150 наблюдениях тест находил несуществующий эффект в 26 % случаев вместо 5 %.

• Слишком много факторов и значений

  Пользователи дробятся на мелкие группы, мощность падает, а запускать найденное сочетание сложнее. Результат из десятков комбинаций трудно прочитать.

• Бессмысленные комбинации

  В полном плане попадаются сочетания, которые никто не выпустит, например синяя кнопка на синем фоне. Исключите их заранее.

• Пересекающиеся элементы

  Если элементы связаны по смыслу, результаты исказят друг друга. Проверяйте только независимые элементы.

• Слишком много тестов на одном сегменте

  Параллельные тесты влияют друг на друга. Не запускайте больше двух–трёх на один сегмент.

• Больше вариантов, больше ложных срабатываний

  С ростом числа вариантов растёт и вероятность, что рост конверсии случаен.

• MVT там, где хватило бы A/B

  Время на один медленный MVT можно потратить на несколько A/B-тестов. Если взаимодействий нет, смысла в нём мало.

Российская специфика

Русскоязычные гайды советуют запускать MVT после серии A/B/n и считать выборку онлайн-калькулятором.