Анализ продуктовой аналитики

Когда использовать

Аналитика работает постоянно, но целенаправленный разбор нужен в нескольких случаях. Первый — найти, где продукт теряет людей, например в регистрации, онбординге или оформлении заказа. Второй — выбрать задачи для тестов. Самые частые сценарии видно по данным, и именно их стоит проверять первыми. Третий — измерить, помогло ли изменение интерфейса. Четвёртый — подготовить вопросы для качественного исследования.

Главное ограничение метода в том, что цифры не объясняют причин. Если завершают задачу 40 % людей, то почему остальные 60 % не справились и как это исправить, из данных не следует. Результат аналитики поэтому дополняют качественными методами. После неё идут юзабилити-тестирование, глубинные интервью, тепловые карты и записи сессий. Проверить, сработала ли правка, помогает A/B-тест.

Что нужно для старта

• Исследовательский вопрос и решение, которое от него зависит. Например, на каком шаге регистрации уходят чаще всего
• Доступ к продуктовой аналитике или счётчику, где можно строить воронки и сегменты
• Описание событий от аналитика. Названия экранов и событий в каждом продукте свои, на их освоение уходят недели
• Метрика с точкой отсчёта. Число без сравнения трудно интерпретировать, 60 % завершений может быть и хорошим результатом, и плохим
• Настройка без личных данных. Инструмент не должен собирать данные, по которым можно узнать человека

Как провести

1. Вопрос и решение

   Сформулируйте вопрос, на который нужен ответ, и решение, которое зависит от него. Без этого просмотр дашбордов превращается в измерение ради измерения. Данные сами по себе не дают выводов, их нужно проанализировать.

2. Проверка сбора

   Прежде чем доверять цифрам, узнайте, как устроен сбор. Нет ли выборки по большим объёмам данных, исключены ли роботы (в Метрике для этого есть фильтр), что именно считается событием. На больших объёмах данных нужны инструменты помощнее, поэтому оцените ожидаемую нагрузку заранее.

3. Воронка

   Постройте воронку по пути, который вас интересует, например по регистрации. Конверсию удобно считать двумя способами. От первого шага она показывает общую картину, от предыдущего показывает потери между шагами. Промежуточные шаги пути называют микроконверсиями, и они помогают заметить, где люди уходят. Основная конверсия, например покупка, меняется медленно и плохо подходит для проверки небольших правок.

4. Сегменты

   Разбейте данные по источнику трафика, устройству, региону, возрасту и по выбору на пути. Средняя цифра скрывает, что у одной группы всё хорошо, а у другой плохо. Если группа справляется хуже других, исследование проводят именно с ней.

5. Пути пользователей

   Посмотрите, как люди реально переходят между страницами. Отчёты о потоках показывают неожиданные переходы, и эти места подходят для юзабилити-тестов. Записи сессий и карты кликов помогают понять, что произошло на шаге.

6. Контекст метрик

   Читайте показатели с учётом цели страницы. Высокий показатель отказов на странице контактов может быть нормой, долгое время на странице оплаты говорит о сложности, а на странице статьи о том, что текст читают. Отказ — это уход после одной страницы, выход — уход после любой.

7. Сверка с другими данными

   Сравните аналитику с тестами. Совпадают ли проблемы у всех пользователей или данные рассказывают другую историю. Найдя места ухода, запланируйте раунд качественного исследования, чтобы понять причины.

8. Приоритеты и решения

   Расставьте находки по значимости и начинайте со страниц, где потеря людей стоит дороже всего. Чем выше ценность страницы, тем важнее проверить её удобство.

Результат

Воронка или таблица ключевых метрик с разрезами по сегментам и список мест для проверки. Для каждого места указано, где именно теряются люди, сколько их, у кого заметнее и какой метод покажет причину.

Типичные ошибки

• Вывод о причине по цифре

  Данные показывают, что произошло, но не почему. По проценту завершений нельзя сказать, как исправить задачу. Причину ищут в тестах и интервью.

• Метрика без контекста

  Показатель отказов оценивают без учёта цели страницы. Время на странице считают однозначно хорошим или плохим, хотя оно бывает признаком и сложности, и полезности.

• Метрики, которые только растут

  Общее число посетителей полезно мало. Добавляйте контекст, чтобы цифра что-то значила. Просмотры страниц и время на сайте тоже нужно читать осторожно, чтобы отличить удобство от вовлечённости.

• Путаница отказов и выходов

  Это разные показатели, и их часто путают. Отказ считают у тех, кто ушёл с первой страницы, выход у тех, кто ушёл с любой.

• Конверсия для обязательных действий

  Если у человека нет выбора, коэффициент конверсии бесполезен. Для таких задач берут простоту использования, число ошибок, обращения в поддержку.

• Измерение без анализа

  Собранные данные сами не дают выводов. Без смысла и контекста они остаются цифрами.

Российская специфика

В Яндекс Метрике воронка строится в разделе «Отчёты». Окно воронки можно ограничить периодом до 360 дней, в одном шаге доступно до трёх условий, группировок можно выбрать до семи. Шагами служат просмотры страниц, JS-цели, параметры события, события электронной коммерции, звонки. Рядом в Метрике лежат тепловые карты и Вебвизор, о которых есть отдельная статья.

Кто использует

На митапе для аналитиков в 2021 году Авито разбирало поиск точек роста в функции «Избранные продавцы» через воронки и анализ поведения пользователей. Результаты в публикации не раскрыты, подборка докладов есть в блоге AvitoTech. В руководстве по службам Великобритании порядок такой. Данные о завершении задач находят шаги, где люди уходят, а исследователь выясняет причины.