Метод выборки опыта

Когда использовать

Метод нужен, когда важен контекст использования в течение дня, а не лабораторная сессия. Чем он лучше обычного опроса, понятно по одному примеру. В исследовании мест, которые посещают люди, участникам было трудно вспомнить, где они были в последние дни, не говоря о четырёх неделях. Опрос на месте дал куда более точную картину. Метод подходит и для редких событий, которые трудно поймать иначе, а также для оценки прототипов в обычной жизни.

От дневникового исследования он отличается тем, кто начинает запись. В дневнике участник решает сам, в ESM сигнал приходит от исследователя. Для данных о том, как опыт меняется со временем, подойдёт лонгитюдное исследование.

У метода есть цена. Каждый сигнал отрывает человека от дела, а частые сигналы на протяжении недель вызывают скуку и раздражение. Это ведёт к выбыванию и пропускам. Ответы остаются самоотчётом, и исследователь не проверит, правдивы ли они. Выбор момента влияет на то, какие данные вы соберёте. Если опрашивать случайно, будет много ответов из дома и с работы и мало из других мест.

Что нужно для старта

• Вопрос о том, что происходит в моменте. Где человек, что делает, как оценивает
• Схема сигналов. По расписанию, по событию, случайно или по сенсору телефона
• Очень короткая анкета в основном с закрытыми вопросами
• Инструмент, который присылает сигналы и собирает ответы, например открытая платформа PACO
• Согласие участников и вознаграждение, привязанное к участию
• Способ следить за ответами и сбоями, пока идёт исследование

Как провести

1. Схема сигналов

   Выберите, когда задавать вопрос. Бывает три схемы. По расписанию, в заранее назначенные часы. По событию, когда участник сам отвечает после нужной ситуации. Случайно, когда устройство присылает сигнал в неожиданное время. Есть и четвёртая, когда вопрос запускается датчиками, например после десяти минут на одном месте. Если событие редкое, короткое или непредсказуемое, случайные сигналы его пропустят, нужен запуск по событию.

2. Анкета

   Спрашивайте коротко. В исследовании настроения и занятости было четыре вопроса. Какое приложение открыто, слово о настроении, оценка от 1 до 7 и необязательная заметка. На телефоне вводить текст трудно, поэтому открытые вопросы заменяют выбором и шкалами. Для коротких рассказов сделайте отдельный веб-дневник, в одном исследовании участники заполняли его даже чаще, чем просили.

3. Частота и срок

   Единой нормы нет. В исследовании информационных потребностей присылали 10 случайных сигналов в день в 12-часовом окне и так 7 дней, в среднем участники ответили на 56 анкет. В исследовании настроения сигналов было около десяти в день в течение 25 дней, анкета исчезала через минуту. Пилот на небольшой группе покажет, сколько человек выдержит.

4. Время ответа

   Ограничьте время, за которое нужно ответить, и считайте пропущенный сигнал пропущенным. Тогда ответы остаются записью момента, а не воспоминанием.

5. Мотивация

   Привяжите оплату к участию. Хорошо работает обратная связь. Когда участникам показывали графики их собственных ответов, доля ответов оказалась выше на 23 % (79 % против 64 %).

6. Наблюдение за ходом

   Следите за участием и сбоями устройств, пока исследование идёт, и чините их сразу.

7. Разбор

   Соедините ответы с тем, что известно о ситуации: временем, местом, открытыми приложениями. Отдельно выясните, почему пропущены сигналы. Люди называют две причины: заняты в момент сигнала и не заметили его. Эти данные нужны, чтобы понять смещение.

Результат

Таблица ответов по моментам с временем, ситуацией и оценками, доля ответов на сигналы и выводы по ситуациям. К ним прикладывают описание схемы сигналов и причин пропусков.

Типичные ошибки

• Слишком много сигналов

  Участники устают, раздражаются и перестают отвечать. Держите анкету короткой, а число сигналов подбирайте пилотом.

• Случайные сигналы для редких событий

  Случайный сигнал может прийти мимо события. Для редких ситуаций нужен запуск по событию или по датчику.

• Выбор момента меняет данные

  Если спрашивать только случайно или только в одном месте, картина получится смещённой. Подумайте, какие ситуации недопредставлены.

• Длинные тексты на телефоне

  Печатать неудобно, и ответы пропадают. Берите выбор и шкалы, а истории собирайте отдельно.

• Невидимая польза для участника

  Если человек не видит, зачем отвечать, пропусков больше. Дайте обратную связь и привяжите оплату к участию.

• Не знать причин пропусков

  Без данных о том, был ли человек в приложении и заметил ли сигнал, пропуски нельзя интерпретировать. Соберите эти данные и спросите в итоговом интервью.

• Самоотчёт по событиям без проверки

  Когда участник сам решает, что событие произошло, точность зависит от его дисциплины. Исследователь этого не проверит.

Кто использует

Исследователи Intel проверяли с 16 участниками идею «голосовать ногами». Четыре недели телефоны сами присылали вопрос, когда человек около десяти минут оставался на одном месте. Собрали 3458 анкет, участники заполняли веб-дневник 5,8 раза в неделю при просьбе о четырёх. Из интервью стало ясно, что вспомнить свои маршруты за несколько дней людям почти невозможно. Описание в статье.

Исследователи Carnegie Mellon сравнили две группы в 25-дневном исследовании настроения и занятости на ноутбуках. Показ собственных графиков поднял долю ответов с 64 % до 79 %.