Анализ поисковых логов

Когда использовать

Метод подходит любому продукту, где есть встроенный поиск, пусть им пользуется небольшая часть посетителей. Сайт, приложение, документация, интернет-магазин накапливают материал, который стоит прочитать. Поиск работает как запасной выход. Человек ушёл в строку, значит, не нашёл нужное в меню или не понял названия.

Метод отвечает на вопросы о словах и контенте. Чего пользователям не хватает, какими словами они называют вещи, какие запросы остаются без ответа. Он не объясняет, почему люди так ищут. Для причин потом берут интервью или юзабилити-тестирование. Для общей картины поведения подходит анализ продуктовой аналитики.

Если поиск не настроен или логи не пишутся, метод невозможен, пока не включите запись. Если запросов мало, выводы будут шаткими. Тогда смотрите все запросы глазами, а не по частоте.

Что нужно для старта

• Включённая запись запросов. Попросите разработчиков включить логи или настройте цель в аналитике
• Доступ к выгрузке за три–шесть месяцев с текстом запроса и временем
• Таблица, в которой можно сортировать, группировать и считать. Хватит электронной таблицы
• Признак того, что поиск ничего не нашёл. Если аналитика его не фиксирует, попросите разработчиков передавать число найденных результатов вместе с запросом
• Список названий разделов продукта, чтобы сопоставлять с ним запросы

Как провести

1. Выгрузка

   Возьмите запросы за три–шесть месяцев, чтобы всплески встали в контекст. В Яндекс Метрике запросы видны в отчёте по параметрам адреса, если на странице результатов в адресе есть слово поиска.

2. Короткая голова

   Начните с самых частых запросов. Для регулярной работы хватает пятидесяти–ста самых частых, для основательного разбора берут тысячу за три–шесть месяцев и внимательно читают первые три сотни. Объедините синонимы и разные написания одного и того же. Эти запросы показывают, что важно людям больше всего.

3. Нулевые результаты

   Достаньте запросы, по которым поиск ничего не нашёл, и отсортируйте по частоте. У нулевого результата две причины. Нужного на сайте нет, или оно есть, но запрос не совпал со словами на сайте. Различать эти случаи нужно по каждому запросу отдельно.

4. Сессии

   Отсортируйте записи по идентификатору пользователя и времени. Так видно последовательность запросов одного человека. Сначала «настройки», потом «настройки уведомлений», потом «как выключить уведомления» говорит, что нужное не нашли с первого раза. Смотрите, что человек делает после выдачи, кликает или уходит.

5. Разметка проблем

   Раскладывайте запросы по типам. Нужное есть, но его не находят. Нужного нет. Слова пользователя не совпадают со словами сайта. Частые опечатки. Пустые запросы, возможно, обходят неудобный поиск или сломанный виджет. Очень длинные запросы, иногда это жалоба, иногда попытка взлома. Числа, обычно номера товаров и телефоны.

6. Решения

   К каждой группе подберите действие. Настроить подсказки и синонимы, исправить опечатки, добавить закреплённые результаты для главных запросов, переименовать раздел, написать недостающую страницу, поменять структуру. Перед передачей данных коллегам удалите идентификаторы и персональные данные, а после анализа уничтожьте логи.

7. Гипотезы и проверка

   Выводы из логов остаются гипотезами. Проверьте их юзабилити-тестом или интервью, а после правок посмотрите на те же показатели ещё раз. Регулярно, примерно раз в полгода, пересматривайте логи заново.

Результат

Сводка по запросам, которые нужно решить. Для каждой группы указаны частота, доля нулевых результатов, предполагаемая причина и действие. Дополнительно в сводке полезен список запросов, которых нет на сайте, и список слов пользователей, которые стоит добавить в названия и синонимы.

Типичные ошибки

• Один адрес как один человек

  За одним IP может стоять сервер, компания или несколько человек. Тысячи запросов с одного адреса не доказывают, что это робот или один фанат.

• Логи с персональными данными в открытом доступе

  Адреса и идентификаторы чувствительны. Нельзя пересылать логи по почте без шифрования и оставлять их в общедоступных папках. После анализа их уничтожают.

• Выводы вместо гипотез

  Логи показывают, что люди делают, но не почему. Результат нужно проверять другими методами, прежде чем менять продукт.

• Отчёт без разбора

  Данные, переданные в другой отдел без интерпретации, остаются без последствий. Разбирайте их вместе с теми, кто отвечает за контент и поиск.

• Поиск запущен и не настраивается

  Установленный поисковый движок без настройки работает плохо. Логи нужны, чтобы его подстраивать.

• Нулевая выдача считается только отсутствием контента

  Иногда страница есть, но запрос не совпал со словами на ней. Тогда нужны синонимы и подсказки, а не новый текст.

Российская специфика

Яндекс Метрика в цели «Поиск по сайту» сама узнаёт адреса со словами q, text, query и search. Если на сайте другой параметр, его указывают вручную. Сами фразы смотрят в отчётах «Содержание — По параметрам URL».

Кто использует

В Юле аналитики заметили, что пользователи с пустой выдачей реже возвращаются. Команда добавила в конец выдачи объявления, подобранные алгоритмом «похожих», и доля пустых и неполных ответов упала на 65 %. Рост контактов, покупок и возвращаемости команда показала на графиках. Разбор на Хабре.

В Lamoda пустую выдачу и выдачу меньше 60 товаров ведут в ежедневной сводке, проблемными считают ещё запросы с низкой долей добавления в корзину. Раз в неделю команда берёт выборку из двух с лишним тысяч запросов, правит словари, исправление опечаток и атрибуты товаров, а самые сложные случаи разбирает вместе с контентом и коммерцией. Поиск приносит около четверти выручки. Рассказ команды.