Тестирование контента

Когда использовать

Метод нужен там, где от понимания текста зависят деньги, здоровье, права или следующий шаг. Это условия тарифов и возврата, медицинские и юридические пояснения, сообщения об ошибках, подсказки в формах. Ещё один сигнал — вопросы в поддержку, ответы на которые уже есть на сайте. Проверять каждое предложение не нужно. Берите тексты, от которых зависят важные для людей и бизнеса задачи. По-английски метод называют content testing.

Формулы читаемости считают длину слов и предложений и не видят смысла. Если перемешать слова в предложении, оценка останется прежней. Формулой можно прикинуть сложность заранее, но решать, что переписывать, нужно по реакции людей. Вопрос «Вам понятно?» тоже не работает. Ответ «да» не доказывает, что человек понял, а то, нравится ли ему текст, к пониманию отношения не имеет.

Тестирование контента — набор приёмов, и их сочетают. Задачи на понимание внутри модерируемой сессии показывают, как человек применяет текст. Тест маркером показывает, какие места вызывают доверие, а какие сомнение. Клоуз-тест даёт одно число по пониманию отрывка. A/B-тест на живом трафике покажет, какая формулировка лучше работает, но не объяснит почему.

Что нужно для старта

• Тексты для проверки, то есть страницы, экраны или фрагменты, от которых зависит важная задача
• Ключ ответов, что человек должен понять из каждого фрагмента. Для сложной темы его составляют вместе с экспертом
• Участники, похожие на вашу аудиторию по ситуации и задачам, а не только по возрасту и полу
• Распечатки текста и два маркера разных цветов или общий документ, где участник может выделять текст цветом

Как провести

1. Разберитесь в теме

   До сессий прочитайте тексты и поговорите с их авторами и экспертами предметной области. Становиться экспертом не нужно, но исследователь должен понимать, что читает участник. Иначе он не сможет оценить, верно ли человек понял прочитанное.

2. Наберите подходящих людей

   Позовите тех, для кого написан текст, с теми же задачами и в той же ситуации. Посторонний человек не оценит пользу специального текста, например медицинского или налогового. Для медицинских текстов допустимы близкие, которые ухаживают за больным. Не просите участника представить себя кем-то другим.

3. Напишите задачи, для которых нужно применить текст

   Задача «Купите месячный абонемент» проверяет только навигацию. В задаче «Купите самый дешёвый абонемент, который вам подходит» человеку придётся разобраться в условиях. Открытые задачи на поиск информации лучше прямых. Дайте ситуацию, которая приведёт человека к нужной странице, а не открывайте её сразу. Перед задачами коротко расспросите участника об опыте и знаниях по теме, чтобы подстроить задачи под него.

4. Проведите сессию

   Лучше модерируемая сессия, очно или по видеосвязи. Немодерируемая длится обычно 20–30 минут, и участник молча пробегает текст глазами, не оставляя комментариев. В начале скажите, что проверяете текст, а не человека. Слово «контент» не используйте, участники понимают его иначе. Пока человек читает, выдерживайте паузу, вопросы задавайте после того, как он дочитал. Затем попросите пересказать суть своими словами, не заглядывая в текст. Хороший текст понятен с первого прочтения. Если человек перечитывает или не может передать главное, фрагмент переписывают.

5. Добавьте тест маркером

   В конце сессии дайте распечатку. Попросите отметить одним цветом то, что понятно или придаёт уверенности, а другим то, что непонятно или вызывает сомнение. Цвета и их смысл определите заранее, а после спросите о причинах отметок. Тест работает и онлайн, в привычном участнику редакторе документов. Уверенность не гарантирует верного понимания, поэтому маркер сочетают с вопросами на понимание.

6. Если нужна большая выборка, сделайте анкету

   Немодерируемый тест с вариантами ответа собирает больше людей при том же бюджете. В каждом вопросе один верный ответ и два-четыре правдоподобных неверных. Добавьте вариант «Не знаю», чтобы люди не угадывали. Избегайте вариантов «всё перечисленное» и слов «всегда» и «никогда». Для быстрого числа по одному отрывку подойдёт клоуз-тест.

7. Сведите результаты

   По каждому фрагменту запишите, сколько участников поняли его верно, сколько отметили как непонятный и что они сказали. Отметки маркером всех участников перенесите на один экземпляр текста. Чем гуще цвет, тем сильнее фрагмент действует на людей.

Результат

Список фрагментов с проблемами понимания. Для каждого указаны доля участников, понявших верно, отметки маркером, цитаты, слова, которыми люди называют вещи, и что переписать. Сводный экземпляр текста с наложенными отметками показывает картину целиком. После правок те же задачи повторяют на новых участниках и сравнивают результат.

Если текст прошёл проверку на людях, его стоит закрепить в юзабилити-тестировании всего сценария. Человек может понять справку, но не найти её в нужный момент.

Типичные ошибки

• Вопрос «Понравился ли текст»

  «Нравится» и «понятно» — разные вещи, а ответ «да, понятно» ничего не доказывает. Проверяйте пересказом и задачами.

• Участники не из аудитории

  Коллеги и случайные люди не оценят специальный текст. Его может проверить только тот, кому он адресован.

• Вопросы во время чтения

  Частые вопросы сбивают концентрацию и меняют то, как человек читает. Дождитесь, пока он дочитает.

• Правка под формулу читаемости

  Формула не видит смысла. Текст, переписанный ради оценки, не становится понятнее.

• Маркер без вопросов на понимание

  Люди отмечают как понятное то, что прочли неверно. Добавляйте вопросы и задачи.

Российская специфика

Команда М.Видео в разборе на Хабре собрала приёмы для исследования текстов интерфейса. Вопросы на понимание в юзабилити-тесте оценивают по времени ответа и доле ошибок. Тест маркером проводят на бумаге или на экране, им же проверяют перевод приложения с носителями языка. Клоуз-тест делают с пропуском каждого шестого слова, вопросы на запоминание показывают, что человек вынес из текста.

Если исследователей и бюджета нет, руководитель UX-редактуры OZON советует быстрые проверки. Можно показать текст коллегам из других команд, прочитать его без контекста продукта, показать на 5–10 секунд и спросить, что запомнилось. Конспект доклада есть на vc.ru. Такие проверки не заменяют тест с аудиторией, но отсекают явные проблемы до него.

Кто использует

Команда сервиса подтверждения личности в правительстве Великобритании проверяла так брифинг для стейкхолдеров. В конце каждой исследовательской сессии участник подчёркивал зелёным то, что добавляет уверенности в сервисе, и красным то, что её отнимает. Вечером отметки всех участников переносили на один экземпляр, и насыщенность цвета показывала самые сильные места. Редакторы увидели, как их текст воспринимают, и научились описывать сервис проще. Рассказ есть в блоге исследователей GOV.UK.

В американской цифровой службе 18F внутренний документ переписали простым языком. Два юриста сравнили исходный и новый тексты с маркерами и обсудили формулировки с редактором. Правки внесли сразу, и отдельная юридическая проверка не понадобилась.