Древовидные тесты

Когда использовать

Древовидный тест нужен, когда структура навигации уже есть хотя бы на бумаге, а дорогая работа над дизайном и разработкой ещё впереди. Он отвечает на один вопрос. Туда ли люди пойдут за нужным. Иногда его называют обратной карточной сортировкой. Карточная сортировка рождает идеи, как сгруппировать разделы, а древовидный тест проверяет, работает ли получившаяся иерархия. Заменить одно другим нельзя.

Метод хорошо подходит для проверки названий и расположения разделов, в том числе для сравнения двух вариантов структуры. Структуру, которая прошла тест, дальше проверяют в юзабилити-тесте на прототипе, уже с оформлением.

У метода есть границы. Он убирает визуальный контекст, поэтому такие решения, как мега-меню, в нём не проверяются. Инструменты обычно засчитывают правильным ответом только конечный пункт, а на реальных сайтах у родительской категории нередко есть своя страница. Для процессов вроде оформления заказа тест не годится.

Что нужно для старта

• Дерево сайта в виде иерархии до уровня, на котором лежат страницы, которые будут искать. Даже если проверяете один раздел, постройте дерево целиком, иначе участники сразу поймут, где искать
• Пять–десять заданий и правильное место в дереве для каждого. Правильных мест может быть несколько
• Инструмент для древовидных тестов, например WebAsk
• Участники, похожие на вашу аудиторию. Число зависит от формата, ориентиры ниже
• Несколько человек для пилота, чтобы поймать сломанные задания до основного запуска

Как провести

1. Цель и дерево

   Решите, какую часть структуры проверяете и что будете менять по результатам. Занесите в инструмент дерево в виде таблицы, по одной категории в строке, а подкатегории сдвигайте вправо. Названия разделов берите такими, какие увидит посетитель. Если в дереве больше четырёх уровней, заранее подумайте, нельзя ли его упростить.

2. Задания

   Опишите ситуацию, а не раздел. Вместо «Найдите «Доставку»» пишите «Вы заказали шкаф и хотите узнать, сколько стоит привезти его в другой город». Слова из названий разделов в задании не повторяйте, иначе люди ищут совпадение, а не смысл. Полезно включить задания по ключевым бизнес-целям, по разделам с сомнительным названием и по местам, где людям уже известны трудности. Первым поставьте лёгкое задание, чтобы участник вошёл в роль. В неконтролируемом тесте оно заодно отсеивает невнимательных.

3. Пилот

   Проведите несколько модерируемых сессий. Так сломанные задания и ошибки в дереве не попадут в основной запуск.

4. Участники и формат

   Для количественных цифр нужно около 50 человек на каждую группу пользователей, минимум 30. Если проверяете несколько вариантов дерева, пусть каждый участник видит только один, иначе опыт первого исказит второй. Заданий каждому давайте не больше десяти. Для качественной проверки с рассуждением вслух хватит нескольких человек, но процентов в таком тесте считать не стоит.

5. Разбор успешности

   Посчитайте по каждому заданию долю тех, кто назвал правильное место, и долю тех, кто дошёл прямо, без возвратов. Ориентиры практиков такие. Успех ниже 60 % говорит о проблеме, 80 % и выше — хороший результат. Прямота выше 75 % считается нормой, а доля возвратов должна быть ниже 20 %. Это пороги вендоров, а не нормы исследований. Надёжнее сравнивать с вашим прошлым измерением и учитывать важность задания.

6. Разбор ошибок

   Посмотрите, куда уходят неверные ответы. Если многие выбирают один и тот же неверный раздел, структура расходится с ожиданиями людей, и нужно переносить контент или переименовывать. Если ответы разбросаны, названия непонятны. Частые возвраты после входа в категорию говорят, что название вводит в заблуждение. Высокая успешность при низкой прямоте означает, что люди находят, но слишком много блуждают.

7. Правки и повтор

   Переименуйте непонятные разделы, уберите лишние уровни, перенесите контент. Затем повторите тест на новой группе участников и убедитесь, что правки помогли.

Результат

Сводка по заданиям. Для каждого указаны доля успеха, доля прямых ответов, самое частое неверное место и решение, что менять. К ней прикладывают дерево с отмеченными проблемными узлами и список правок.

Типичные ошибки

• Подсказка в формулировке

  Задание повторяет название раздела или называет путь. Люди ищут совпадение слов, и тест показывает не логику структуры, а внимательность.

• Длинные сценарии

  Подробная история с лишними деталями отвлекает и прячет суть. Задание должно умещаться в одно-два предложения.

• Слишком много заданий

  К десятому заданию участники запоминают названия из предыдущих и устают, а клики становятся случайными.

• Проверка одного раздела

  Если оставить в дереве только тестируемую ветку, участники сразу понимают, где искать, и результат завышен.

• Несколько вариантов дерева одному участнику

  Опыт первого дерева влияет на второе. На каждый вариант нужна своя группа.

• Карточная сортировка вместо древовидного теста

  Сортировка порождает идеи структуры, но не оценивает готовую иерархию. Для проверки нужен древовидный тест.

• Жаргон в названиях

  Внутренние термины вроде SKU вместо «код товара» делают задание нерешаемым для обычного посетителя.

• Только цифры

  Процент успеха не объясняет причин. Добавьте после задания короткий вопрос о том, что смутило.

• Готовая планка успеха

  Единого порога нет. Сравнивайте со своим прошлым замером и учитывайте сложность задания.

Кто использует

Команда NAUMEN проверила древовидным тестом информационную архитектуру нового корпоративного продукта до серых прототипов. Сессии были модерируемые, по 15–30 минут, с 20 участниками. Результаты разделили на прямой успех, непрямой успех и провал. Раздел со встречами многие нашли только после перебора нескольких пунктов, и команда сделала его заметнее в структуре. Подробности в рассказе команды на Хабре.