Как проводить АБ-тестирование?

АБ-тестирование

Говорят: “Тестируйте несколько вариантов, замеряйте конверсию и оставляйте победителя”.
Как тестировать? Как долго? Как понять, кто победитель?

Сейчас вы научитесь достоверно определять какой вариант дает большую конверсию. Например, конверсия выше от зеленой кнопки или от красной?

Как тестировать?

3 основных правила:
Правило №1: не использовать последовательное тестирование.
Пример: 1 неделю тестируем 1 вариант, 2 неделю – 2 вариант.
Причина: за первую неделю может изменится большое количество внешних факторов. Например, пройдет реклама по телевизору по вашей нише и 1 вариант на время даст конверсию намного выше, чем 2 вариант. А на самом деле 1 вариант может быть хуже, чем 2. То же самое актуально при тестировании вариантов через 1 день.
Самое страшное, что большое количество студий проводят тестирования такими способами. Будьте осторожны.


Правило №2: не делать обобщенных выводов.
Пример: если одна версия страницы показала лучший результат на трафике с директа, то не факт, что та же страница покажет лучший результат на трафике с электронной рассылки. Считайте конверсию отдельно по каждому источнику трафика.

Правило №3: не пытаться логически объяснить результаты тестирования.
Пример: тест красной и зеленой кнопки. Если бОльшую конверсию дала зеленая кнопка, то это не значит, что ваша аудитория больше любит зеленый цвет. Скорее всего контрастность зеленой кнопки с общим фоном выше, чем красной кнопки. А бывают примеры менее очевидные.

Выводы:
1. Тестируем варианты одновременно.
2. Срок тестирования минимум 1 неделя.
3. Используем одни и те же источники трафика при тестировании. (реклама на Яндексе или в гугле или с ПС — тут уже сами решаете)
4. Считать конверсию отдельно по каждому источнику трафика.

Как понять кто победитель?

Предположим, мы рекламируем группу на вконтакте. Тестируем 2 варианта картинок.
Вариант А.
Посещений: 940.
Вступлений в группу: 60.
Конверсия: 6,38%.

Вариант Б.
Посещений: 1140.
Вступлений в группу: 90.
Конверсия: 7,89%.

Некоторые подумают, что вариант Б лучше (конверсия ведь выше и 90>60 :) ) и прекратят тестирование или перейдут к новому.
А на сколько вы уверены в том, что вариант Б лучше, чем вариант А? На 20%? Или 99%?

Мы создали для себя файл в Excel, который вычисляет процент улучшений при тестировании 2 вариантов и делимся им с вами.

Как пользоваться:
1. Не пугайтесь цифр.

2. Введите количество посещений и целевых действий для 2 вариантов.

3. Решите, на сколько процентов вы хотите быть уверенным в результате (колонка “Достоверность результата”). На 68%, 95% или 99%? Чем выше процент тем дольше необходимо проводить тестирование.

4. Посмотрите прогнозы напротив выбранного процента достоверности результата.

Если в худшем прогнозе А лучше Б, а в лучшем прогнозе – Б лучше А или наоборот, то тестируйте дальше.
Если первое условие соблюдено и вас устраивает процент улучшения в худшем прогнозе, то переходите к тестированию новых вариантов.

Теперь используйте полученные знания на практике. Протестируйте свои заголовки и картинки.
И помните – при тестировании нужно отключить эмоции и любопытство. Нельзя поддаваться искушению запускать новый АБ-тест раньше времени.

Если вам понравилась статья, жмите лайк. И нанесите пользу своим знакомым, сделав репост.