Как устроен A/B-тест
Аудиторию случайно делят на группы, каждой показывают свой вариант — например, разные заголовки объявления — и сравнивают по целевой метрике: CTR, конверсии, стоимости заявки. Побеждает вариант, который статистически значимо лучше.
Ключевое слово — «статистически значимо». Разница в цифрах сама по себе ещё не результат: она может быть случайной.
Меняйте одну переменную за раз
Если одновременно поменять заголовок, картинку и кнопку, вы узнаете, что вариант Б лучше, но не поймёте почему — и не сможете повторить успех. Чтобы вывод был применимым, за один тест меняют одну переменную.
Исключение — комплексные тесты целых концепций, но и там нужно понимать, что вы проверяете гипотезу, а не отдельный элемент.
Наберите достаточную выборку
Главная ошибка — остановить тест рано, увидев «победителя» на паре десятков конверсий. На малой выборке разница почти всегда случайна и разворачивается при продолжении.
Признаки надёжного теста:
- Заранее прикинут нужный объём выборки под ожидаемую разницу.
- Тест идёт целыми днями и неделями, а не часами — чтобы сгладить дни недели.
- Результат оценивается по статистической значимости, а не по абсолютным числам.
- Победитель проверен на устойчивость, а не зафиксирован на первом всплеске.
Частые ошибки
Из-за них выводы теста оказываются ложными:
- Останавливают тест, как только появился «лидер» — ловушка подглядывания.
- Сравнивают периоды с разным трафиком или сезоном вместо параллельных групп.
- Меняют несколько элементов сразу и не понимают, что именно сработало.
- Тестируют на верхней метрике (CTR), забывая проверить конверсию в продажу.
Тестируйте до денег, а не до клика
Вариант с высоким CTR может приводить худшие по качеству заявки. Поэтому честный тест доводят до целевой бизнес-метрики — заявки, продажи, CAC, — а не останавливаются на кликах. Это возможно, когда результат объявления связан с реальной конверсией через сквозную аналитику.