Лонгитюдные исследования

Когда использовать

Метод нужен, когда вопрос про изменение. Как человек осваивает продукт, как меняется отношение и лояльность, что остаётся привычкой, а что бросают. Большинство UX-исследований посвящено короткому и первому знакомству, а долгий опыт остаётся за кадром. Лонгитюд закрывает эту дыру и привязывает изменения к конкретным людям.

Он следит за одними и теми же людьми, но есть и другие варианты. Можно в каждом замере брать новых участников (повторные срезы), и тогда видны изменения по группе, но не по человеку. Можно спросить пользователей постфактум, как менялся опыт, как делают в методе UX Curve, где человек вспоминает период в несколько месяцев. Если нужны записи по ходу событий, подойдёт дневниковое исследование.

Преимущества связаны со временем. Видна последовательность событий, меняется ли конкретный человек, и меньше ошибок памяти, потому что данные собирают до итога. Недостатки в цене. Метод долгий и дорогой, часть людей выбывает, а обычная статистика, которая не учитывает, что данные собраны у одних и тех же людей, даёт неверные выводы. Для быстрых проверок интерфейса лучше юзабилити-тестирование.

Что нужно для старта

• Вопрос про изменение во времени и понимание, с какой частотой оно происходит
• Группа участников, которых можно вернуть на следующий замер. Лучше с запасом
• Одинаковые методы на каждом замере и код участника, который не меняется
• Контакты участников с запасными вариантами связи
• План поддержки участия и вознаграждения
• Бюджет и команда, которая выдержит срок. Метод требует времени и денег

Как провести

1. Вопрос и тип

   Решите, нужны ли одни и те же люди на всех замерах, новые участники в каждом замере или ретроспективный опрос о прошлом опыте. От этого зависит всё остальное.

2. Моменты замера

   Частоту подберите под то, как быстро меняется изучаемое. Замеров должно быть столько, сколько нужно для ответа на вопрос.

3. Одинаковые методы

   Собирайте данные на каждом замере одним и тем же способом, с теми же вопросами и в тех же условиях. Заведите постоянные коды участников.

4. Набор с запасом

   Заранее учитывайте выбывание. В исследовании на матерях с детьми из 913 человек к 15 году осталась меньше половины, а в первый год выбыло 17 %. Вашу цифру определит срок и тема, но запас нужен всегда.

5. Удержание

   Относитесь к времени участников уважительно. Собирайте несколько каналов связи ещё в начале и решите, что делать с теми, кого потеряли. Сотрудники должны быть вежливы и гибки в расписании. Если человек уходит, проведите короткий разговор и узнайте причину.

6. Замеры

   Проводите замеры по плану и фиксируйте, что происходило в продукте и вокруг него между замерами. Для ретроспективной версии участники описывают, как менялся опыт за определённый период.

7. Анализ

   Сравнивайте данные по моментам времени. Учитывайте, что замеры у одного человека связаны между собой. Для неполных данных подходят модели, которые справляются с пропусками. Повторные проверки по каждому замеру отдельно недоиспользуют данные.

8. Выводы

   Смотрите на траектории отдельных людей и группы. Сравните тех, кто остался, с теми, кто выбыл, и скажите об этом в отчёте.

Результат

Таблица данных по замерам с постоянными кодами участников, графики изменений для группы и для отдельных людей, цитаты из интервью и список находок по моментам времени. К отчёту прикладывают описание выбывания.

Типичные ошибки

• Не заложить выбывание

  Часть людей уходит из любого долгого исследования. Если их заменить некем, выборка слабеет. Набирайте с запасом.

• Разные методы на разных замерах

  Одинаковые вопросы, условия и коды участников нужны, чтобы сравнивать данные между моментами.

• Считать так, будто это независимые люди

  Обычные методы сравнения групп не учитывают, что у одного человека замеры связаны. Результаты получаются неточными.

• Потеря контакта с участниками

  Без нескольких способов связи и плана действий для потерявшихся данные теряются навсегда.

• Игнорировать, кто ушёл

  Если уходят те, кто отличается от оставшихся, итог смещён. Сравните выбывших и оставшихся и расскажите об этом.

Кто использует

Исследователи из Финляндии и Нидерландов в работе по UX Curve проверили метод на 20 владельцах мобильных телефонов. Люди вспоминали, как менялся опыт за период от 3 до 12 месяцев. Выяснилось, что рост привлекательности телефона связан с удовлетворённостью и готовностью рекомендовать его друзьям. Аннотация работы.