Формативное vs Суммативное тестирование
Formative vs Summative Testing
Формативное и суммативное тестирование (formative vs summative testing) различаются ролью в процессе работы. Формативное проводят итеративно, чтобы улучшить дизайн до выпуска, и оно показывает, какие части работают, а какие нет и почему. Суммативное описывает, насколько хорошо работает дизайн, часто в сравнении с эталоном. По-русски встречаются ещё названия «формирующая» и «итоговая» оценка.
- Что сравниваем
- Этап тестирования — в процессе разработки vs итоговая оценка
- Тип
- По цели исследования
- Для кого
- Дизайнеры, Исследователи, Продакт-менеджеры
Содержание
Когда использовать формативное тестирование
Формативное тестирование нужно, пока дизайн ещё меняется, то есть при редизайне или создании нового продукта. Команда тестирует прототип, исправляет найденное и тестирует снова. Цикл «прототип, тест, правка» повторяют несколько раз. Результат — список проблем и изменения в дизайне, которые их исправляют. Например, прототип онбординга нового мобильного приложения тестируют с людьми и исправляют найденное до разработки.
Выборка обычно небольшая, несколько участников, подробнее об этом в разборе юзабилити-тестирования. Подходят мышление вслух, пятисекундные тесты, модерируемые сессии и тесты прототипов низкой и средней точности. В NN/g к фазе проектирования относят также карточную сортировку и тест дерева.
Когда использовать суммативное тестирование
Суммативное тестирование нужно, когда надо увидеть общую картину готового продукта. Его проводят перед крупным редизайном или после него, чтобы сравнить с прошлой версией или конкурентами, и как последнюю проверку перед выпуском, решающую выпускать ли продукт. Например, сравнивают долю успешных задач и время на задачу в выпущенном приложении и в его предыдущей версии. Ещё один пример — экспертная проверка своего интерфейса и интерфейса конкурента по десяти эвристикам юзабилити.
Результат — сравнение с эталоном, показатели в динамике, расчёт отдачи от вложений и решение о выпуске. Проблемы, найденные на таком замере, исправляют в следующей итерации дизайна. Для количественных замеров нужно больше людей, чем для формативных. Обычно больше 30, лучше 40 и больше, подробнее в разборе качественных и количественных методов. Подходят тест первого клика, оценка предпочтений, опросник SUS и прототипы высокой точности.
Сравнение
| Параметр | Формативное | Суммативное |
|---|---|---|
| Вопрос | Что в дизайне работает, что нет и почему? | Насколько хорошо работает дизайн по сравнению с эталоном? |
| Когда | В ходе редизайна или создания продукта | До или после крупного редизайна, перед выпуском |
| Повторяемость | Несколько кругов | На вехах |
| Выборка | Несколько участников | Для цифр больше 30, лучше 40 и больше |
| Результат | Список проблем и изменения в дизайне | Сравнение, показатели в динамике, расчёт отдачи, решение о выпуске |
| Данные | Бывают качественными и количественными | Бывают качественными и количественными |
Широко распространено заблуждение, что суммативное всегда количественное, а формативное всегда качественное. Это не так. Формативная оценка бывает и количественной, например проверка, пролистают ли достаточно людей новую главную страницу ниже первого экрана, но такое доступно командам с высокой зрелостью UX. Суммативная включает и экспертную оценку по эвристикам.
Типичные ошибки
-
Связь с типом данных
Формативное считают только качественным, а суммативное только количественным. Данные не определяют тип оценки, его определяют цель и этап.
-
Дорогие замеры на каждом круге
Для серии формативных оценок удобнее недорогие качественные исследования, потому что кругов много.
-
Замер без сохранённого эталона
Результаты суммативной оценки сохраняют, чтобы сравнить с ними следующие версии.
Как сочетать
Зрелый процесс включает оба вида. Серия формативных оценок идёт всё время, пока меняется дизайн. Суммативные оценки проводят на ключевых вехах, чтобы задать точки отсчёта, и результаты сохраняют, чтобы сравнивать с будущими версиями. Перед выпуском можно провести итоговую суммативную проверку как решение «выпускать или нет».
Эталон до редизайна позволяет после него показать команде и стейкхолдерам измеримый результат. Формативная оценка говорит, какие проблемы исправили, суммативная показывает, насколько вырос итоговый результат.