Сплит-тестирование

Материал из Email Маркетинг Вики
Перейти к: навигация, поиск

Сплит-тестирование позволяет сравнить несколько вариантов письма и выбрать тот, который будет работать лучше. Тесты проводятся на части подписной базы (обычно не более 20%). Во время тестов рекомендуется проверять только один элемент кампании (например, заголовок, текст письма, подпись или время рассылки).

Как это делается?

Сплит-тестирование позволяет определить тот контент и подачу информации, которая даст наилучший результат. Примерный алгоритм любого сплит-теста: Выдвижение гипотезы – варианты решений – проверка – измерение – апгрейд – новая гипотеза[1].

Важно, чтобы в одном тесте проверялась одна гипотеза и изменялся только один элемент (например, заголовок). Если одновременно проверять, например, заголовок и цвет фона, то данные могут оказаться недостоверными, так как будет не понятно, изменение какого именно элемента дало такой эффект[2]. Наиболее известные сервисы для email-маркетинга, которые позволяют проводить сплит-тестирование:
Infusionsoft
ConstantContact
HubSpot Email
AWeber
Marketo
Mailchimp
Unisender

Правила проведения сплит-тестирования

Data Scientist сервиса Kissmetrics советует придерживаться следующих правил при проведении сплит-тестов[3]:
1. Перед началом тестов определить уровень минимальных изменений, которые нужно получить (например, увеличить конверсию на 10%).
2. Установить размер выборки, необходимой для получения достоверных результатов. Для определения размера выборки будет удобно воспользоваться одним из калькуляторов - в сети их много. Автор статьи на KIssmetrics предлагает воспользоваться этим, можно использовать калькулятор на русском - здесь объяснены все термины и формулы.
3. Запустите тест, но результаты проанализируйте только тогда, когда достигнете определенного вами размера выборки.
4. Установите минимальное значение порога изменений, необходимое для определения варианта как эффективного (как правило, это 95% от значения, выбранного на первом шаге).
5. После того, как вы достигнете размера установленной вами выборки, сделайте верификационный тест, чтобы определить превышает ли вариант-победитель значение, установленное на шаге 4.
6. Если результаты верификационного теста ясно показали победу одного из вариантов, внедряйте его. Если тесты не показали значимых результатов, оставляйте все по-старому.
Кроме того, при выборе результата-победителя не полагайтесь полностью на программное обеспечение сервиса. Большинство сервисов не учитывают показатель статистической значимости результатов и выявляют победителя в любом случае. Не поленитесь посмотреть статистику тестов детальнее[4].

Что можно тестировать?

  • Время отправки сообщений
  • Заголовки (длина, формулировка, подача и т.д.)
  • Отправитель (From:)
  • Приветствие (с персонализацией или без)
  • Длина письма
  • CTA[4]

Кейсы

Текст или видео?

Некоммерческая организация «David C Cook» решила проверить, увеличится ли количество пожертвований, если заменить текст на видео. Заголовок письма и CTA были одинковыми, но одно из писем содержало видео вместо текста[5]. По результатам теста Open Rate обоих писем был одинаков, CTR увеличился на 34%, а размер пожертвований – на 114%.

Результаты тестирования, скриншот

«Merry Christmas» или «Нappy holiday»

Один из крупных ретейлеров США решил проверить, что лучше: пожелать своим покупателям «Merry Christmas», «Нappy holiday» или сочетание этих двух поздравлений. Тестировались заголовки письма. Все остальные элементы оставались без изменений[6]. Рассылка была сделана 21 декабря. По результатам теста победил вариант «Merry Christmas». Показатель открытия оказался почти в 2 раза выше, чем для вариантов «Нappy holiday» и «Merry Christmas & Нappy holiday».

Скриншот результатов теста.

Рассказать историю или показать продукт

Marine Mammal Center – ветеринарная больница, которая занимается выхаживанием раненых тюленей. Больница финансируется за счет пожертвований: на сайте можно приобрести сувенир и таким образом сделать пожертвование. Каждый кто, приобретает товар в магазине, может подписаться на email-рассылку. Сотрудники больницы решили проверить, что сработает лучше – история о пациентах больницы или рассказ о продуктах интернет-магазина. Рассылка была сделана в канун дня Святого Валентина. Лучше сработало письмо с фотографиями и описанием продукта. Это были кулоны в виде сердец. Письмо с продуктом в итоге принесло почти в 2 раза больше оплат, чем вариант с историей[7].

Примечания

  1. http://www.mailigen.com/blog/12-case-study-tips-for-ab-split-test-email-campaigns-in-ecommerce/
  2. https://blog.kissmetrics.com/ab-testing-email-campaigns/
  3. https://blog.kissmetrics.com/your-ab-tests-are-illusory/
  4. 4,0 4,1 http://blog.crazyegg.com/2014/12/08/6-email-ab-tests/
  5. http://www.bombbomb.com/blog/video-email-work-case-study/
  6. http://www.conversionvoodoo.com/blog/2010/12/%E2%80%9Cmerry-christmas%E2%80%9D-vs-%E2%80%9Chappy-holidays%E2%80%9D-nearly-double-the-conversion-rate/
  7. http://www.care2services.com/care2blog/a-valentines-day-ab-test-case-study-in-action