A/B-тестирование

Когда использовать

Метод подходит для продуктов с большим трафиком и однозначными метриками. Это конверсия, доля кликов, удержание, выручка на пользователя. Тестируют кнопки призыва к действию, заголовки, макеты, тексты, оформление заказа и формы. Контролируемый эксперимент считается лучшим способом установить, что именно изменение повлияло на поведение пользователей.

Метод не подходит для страниц с малым трафиком, для изменения сразу многих элементов и для объяснения причин. Главная проблема в том, что неизвестно, почему получен результат, поэтому поведение нужно сопоставлять с качественными данными. Тест показывает только краткосрочный эффект по одной главной цели и требует готового, реализованного дизайна. Поэтому A/B-тест не должен быть первым методом улучшения сайта и тем более единственным. Он хорош как финальная проверка уже отточенного решения. Слабые идеи быстрее отсеивают на прототипах, например в юзабилити-тестировании. Если нужно проверить сразу несколько элементов, используют мультивариантное тестирование, и ему нужно ещё больше данных.

Что нужно для старта

• Работающий продукт с трафиком, достаточным для расчётной выборки
• Одна гипотеза, которая опирается на исследования пользователей и данные о бизнесе
• Основная метрика и защитные метрики, которые показывают, что эффект действительно полезен
• Система случайного разделения пользователей и учёта событий
• Расчёт объёма выборки до запуска

Как провести

1. Гипотеза

   Гипотеза опирается на исследования пользователей и данные о бизнесе и связана с конкретной целью. Данные для неё берите из аналитики и разговоров с пользователями. Тест без сильной гипотезы выигрывает редко.

2. Изменение

   В варианте B меняют один элемент, без крупного редизайна. Избегайте сложных дизайнов и действуйте итерациями. Раскатку на всех пользователей лучше начинать с небольшой доли, например с 1 %.

3. Метрики

   Выберите основную метрику и защитные. Основная показывает целевое поведение. Защитные показывают, что эффект действительно полезен для бизнеса. Метод работает, когда у проекта одна ясная главная цель, которую можно измерить подсчётом действий.

4. Объём выборки

   Его определяют три параметра. Это текущее значение метрики, минимальный заметный эффект и порог значимости, обычно 95 %. Пример. При базовом значении кликов 3 % и минимальном эффекте 20 % нужна выборка 13 000 пользователей. При 1 000 пользователей в день тест идёт 14 дней. Приближённая формула размера выборки: n = 16σ²/δ². Здесь δ — минимальный эффект, который нужно заметить, а для доли σ² = p(1 − p). Разбор типичных ошибок расчёта есть в статье Эвана Миллера.

5. Проверка настройки

   Перед первым тестом запустите A/A-тест, в котором обе группы видят одну и ту же версию. Если разница получилась убедительной, значит, в настройке ошибка.

6. Запуск

   Держите тест не меньше одной-двух недель, чтобы учесть колебания поведения в разные дни. Если в данных есть суточная или недельная периодичность, эксперимент проводят целым числом периодов. Результат не проверяют по ходу, а смотрят по окончании.

7. Решение

   Если вариант значимо превосходит контрольный, его обычно внедряют. Но статистическая значимость не равна практической: разница в сотые доли процентного пункта может не стоить внедрения. Рост кликов по одному блоку может идти за счёт других частей страницы, поэтому оценивайте общий эффект. Чужие успешные кейсы годятся как источник идей, проверять их нужно на своём сайте.

Результат

Отчёт об эксперименте. В нём гипотеза, длительность, размер групп, значения основной и защитных метрик в каждой группе, значимость и решение. Результат сопоставляют с качественными данными, чтобы понять причину.

Типичные ошибки

• Остановка теста по ходу

  Если проверять значимость после каждого наблюдения, доля ложных срабатываний вырастает до 26,1 % вместо ожидаемых 5 %. Это пример с конверсией 50 % и до 150 наблюдений. Заранее зафиксируйте размер выборки и не останавливайте тест досрочно. К тому же выводу приходят симуляции на данных платформ.

• Тест без сильной гипотезы

  Выигрывает лишь примерно каждый седьмой тест, поэтому начинайте с исследования пользователей, а не с догадки.

• Несколько изменений сразу

  Когда вариант B отличается цветом, текстом и расположением блоков, непонятно, что дало результат. Меняйте один элемент.

• Значимость как приговор

  Статистическая значимость не равна практической. Не забывайте о ложноположительных и ложноотрицательных результатах и ошибках измерения, о качественных данных и бизнес-контексте.

Российская специфика

Авито выпустил свою внутреннюю платформу A/B-тестирования Trisigma как продукт для внешнего рынка. Она работает в облаке и интегрируется с существующими базами вроде ClickHouse. Описание платформы и все цифры в нём приводит сама компания, они есть в статье на Хабре.

Кто использует

Авито описал на Хабре, как пришёл к экспериментам. В 2016 году два крупных редизайна вышли без тестов, и метрики покупателей после релизов резко упали. В 2017 году компания перешла к быстрым экспериментам. Тесты аналитики сначала считали вручную, и это стало узким местом, поэтому построили платформу. По данным компании, число экспериментов за пять лет выросло с сотен до нескольких тысяч в год. Общую логику метода объясняет руководство NN/g.