Клоуз-тест

Когда использовать

Метод нужен, когда надо узнать не сложность текста, а то, понимают ли его ваши читатели. Формулы читаемости считают длину слов и предложений и теряют нюансы, а клоуз-тест проверяет понимание у живой аудитории. Особенно он полезен для текстов о финансах, правилах и здоровье, а также для отрывков, которые важны или уже вызывали проблемы в тестах. Результат числовой, поэтому после переписывания тест повторяют и видят, стало ли лучше.

Метод ограничен. Низкий балл иногда значит не плохой текст, а нехватку знаний у читателя. В примере с политикой конфиденциальности соцсети слово «poking» трудно понять тем, кто сетью не пользуется. Результат относится только к проверенной аудитории. Полноценную проверку текстов заменяет юзабилити-тестирование, клоуз-тест её дополняет. Если нужно узнать, какие части текста вызывают сомнения, а какие нет, рядом ставят тест маркером и вопросы на понимание. Для коротких фрагментов подходит пятисекундный тест.

Что нужно для старта

• Отрывок, важный для продукта или вызывавший проблемы
• Участники из целевой аудитории, а не коллеги
• Форма или опросник, где человек вписывает слова сам, без помощи
• Заранее выбранное правило подсчёта и порог, с которым сравниваете
• Исходный текст с ответами для проверки

Как провести

1. Отрывок

   Возьмите связный фрагмент, ориентир от 150 слов, как в примере избирательной комиссии ниже. Лучше выбирать текст, который важен или уже вызывал вопросы.

2. Пропуски

   Замените каждое N-е слово пропуском одинаковой длины, не глядя на смысл слов. Чаще берут N = 6, иногда 5. Чем больше N, тем проще тест. Можно удалять и выборочно, ключевые слова, но тогда результат труднее сравнивать между текстами.

3. Участники

   Приглашайте тех, для кого написан текст, и пусть они работают по одному. Единой нормы нет, в первоисточнике хватало групп от шести до двадцати четырёх человек. Чем больше читателей, тем точнее результат.

4. Правило подсчёта

   Решите заранее, что считать верным. Можно засчитывать только точное слово или принимать и синонимы с опечатками. NN/g допускает синонимы, потому что тест проверяет понимание, а не правописание. В оригинальных опытах оценка синонимов только усложняла работу и не меняла порядок текстов по понятности. Главное, чтобы правило оставалось одним во всех замерах.

5. Подсчёт

   Разделите число верных ответов на число пропусков и переведите в проценты. Если в среднем угадано 60 % и больше, текст в целом понятен выбранной аудитории. Американская избирательная комиссия брала порогом 50 % и получила от 65 % до 98 %.

6. Разбор пропусков

   Посмотрите, какие слова не угадывали. Эти места и есть проблема. Иногда ответы показывают, что у слова есть более простой синоним.

7. Повтор

   Перепишите проблемные места и проведите тест на новой группе. Если балл вырос, правка помогла.

Результат

Доля верных ответов по тексту и список пропусков, которые не угадывали, с вариантами ответов участников. К ним прикладывают правило подсчёта и описание аудитории.

Типичные ошибки

• Не та аудитория

  Результат верен только для читателей, на которых тестировали. Коллеги знают продукт и угадывают лучше.

• Низкий балл читают как плохой текст

  Иногда не хватает знаний. Различайте незнание термина и неудачную формулировку.

• Правило подсчёта меняется

  Если в одном замере синонимы засчитывали, а в другом нет, баллы сравнивать нельзя.

• Метод вместо юзабилити-тестирования

  Он показывает понимание текста, но не показывает, как человек пользуется продуктом.

• Путать читаемость и понимание

  Формулы считают длину слов и предложений. Понятность зависит ещё от читателя.

Российская специфика

В разборе тестирования текстов интерфейсов команда М.Видео описывает клоуз-тест с пропуском каждого шестого слова и вариантом, где участник выбирает слово из закрытого списка. Там же описан тест маркером, он показывает, где читатель уверен в понимании, но уверенность не гарантирует верного прочтения.

Кто использует

Американская избирательная комиссия проверила клоуз-тестом материалы для граждан: отрывки не короче 150 слов, каждое пятое слово пропущено, синонимы принимались. Целью было 50 %, фактические оценки составили от 65 % до 98 %. Описание в блоге GDS.

NN/g разобрал абзац из политики конфиденциальности соцсети. В нём 15 пропусков, чтобы получить 60 %, нужно угадать не меньше девяти. По формуле читаемости текст соответствует примерно двум годам университета.