Для многовариантного тестирования база должна быть еще больше. Если тестируется 4 варианта, то размер выборки составляет 250 × 4=1000 подписчиков. Тогда в идеальном случае база должна быть не менее 10 000 подписчиков (не меньше 2000 в не идеальном случае).
• Нужны дополнительные технические средства.
Для параллельных тестов необходим соответствующий функционал. Как правило, в рассылочных сервисах он представлен, но в разной степени. Не все сервисы поддерживают возможность многовариантного тестирования. Некоторые ограничиваются простыми А/Б-тестами по ограниченному набору параметров (имя отправителя, тема письма, время отправки).
Конечно, можно проводить тестирование отчасти вручную – формировать тестовые группы самостоятельно (при помощи программиста или специального приложения), но в таком случае трудоемкость задачи повышается.
Как уже было замечено выше, для последовательных тестов не нужно никакого вспомогательного функционала. Для параллельного тестирования такой функционал необходим.
В рассылочных сервисах – это возможность сплит-тестирования. В самом общем виде она позволяет устанавливать объем тестовой выборки, менять в письмах отдельные параметры, а также определять механизм выбора победителя: автоматически (по уровню просмотров или кликов) или вручную (на основе самостоятельной оценки всех показателей эффективности в комплексе):
Для тестов за пределами рассылочного сервиса готового функционала нет.
Например, чтобы протестировать нотификации, которые обычно отправляются через CMS, понадобятся либо последовательный подход, либо какой-то «самописный» функционал для параллельного тестирования.
Для проверки содержания сайта (форм или страниц подписки) можно использовать готовое решение – «Эксперименты» в Гугл Аналитикс. Пользоваться им достаточно просто, и помощь IT-специалиста не понадобится.
В целом ведение статистики для тестов мало отличается от статистики простых рассылок. Измеряются все те же величины (информация о доставке, показатели эффективности, заказы).
Однако при анализе упор делается на один-два ключевых показателя, повышение которых и было целью тестирования.
Например, при работе с темой письма пристальное внимание следует обращать на коэффициент просмотров (Кпр). При оптимизации содержания – на коэффициент кликов (Ккл).
Для удобства также нужно делать пометки о тестах в таблице статистики. Можно использовать для этого Примечание, а можно завести отдельный столбец:
Так результаты каждого тестирования наглядно сопоставляются по всем важным показателям.