– с помощью специального функционала рассылочного сервиса.
Параллельное тестирование одного параметра обычно называют А/Б-тестированием или сплит-тестированием. Проверка двух или более параметров называется многовариантным тестированием.
Применительно к тесту количества товаров в письме: вы готовите несколько вариантов одного и того же письма, в котором отличается только число товарных предложений: 3, 6, 9, 12… Затем отправляете письма на небольшие части подписной базы, отобранные случайным образом. Лучший вариант по отклику досылаете остальным подписчикам спустя некоторое время. Таким образом, вы гарантированно повышаете отклик на кампанию.
Рекомендации:
• Строго контролируйте количество тестируемых параметров (только один параметр для А/Б-тестов, несколько параметров для многовариантных тестов, но тогда желательно – все возможные комбинации).
• Отбирайте подписчиков в тестовые группы случайным образом (это возьмет на себя рассылочный сервис).
• Включайте в каждую тестовую группу не менее 250 подписчиков (чтобы получить достоверные результаты).
• Включайте в каждую тестовую группу не более 20 000 подписчиков (дальнейшее увеличение размера группы не приведет к повышению точности тестирования).
• Проверяйте варианты на меньшей части базы (в идеале – на 10 %, чтобы как можно больше подписчиков получили наилучший вариант; тесты на 50 % базы и выше уже неэффективны).
Впрочем, иногда в тестировании можно задействовать и 100 % базы, если речь идет не о проверке какого-то текущего параметра (темы письма или призыва к действию), а чего-то более общего (цвета/размера кнопок и прочих элементов дизайна).
• Прежде чем разослать лучший вариант по всей базе, выдерживайте паузу не менее 3 часов (еще лучше – 24).
Статистика рассылок со временем меняется, и нередко вариант, лидирующий по истечении первого часа, оказывается далеко не лучшим в итоговом зачете.
Преимущества параллельного тестирования:
• Быстрота (за одну рассылку можно перебрать сразу несколько вариантов, а не уделять каждому отдельную кампанию).
• Точность (результаты можно трактовать однозначно – если достаточная часть базы отреагировала на письмо наилучшим образом, то это действительно самый эффективный вариант).
Но при каких-либо серьезных тестах (например, когда тестируется не тема письма, а формат подачи товаров) лучше все-таки повторять их несколько раз и усреднять результаты для большей достоверности.
Недостатки:
• База должна быть достаточно велика (более 1000 подписчиков).
К примеру, для простого А/Б-теста с минимальным количеством подписчиков в тестовых группах (по 250) понадобится размер выборки А+Б=250+250=500 подписчиков. Если выборка составляет 10 % от базы (идеальный вариант), то вся база должна включать не менее 5000 подписчиков (на практике можно начинать сплит-тесты уже с 1000 подписчиков).