A/B-тест

Правило одного изменения

Если поменять сразу заголовок, картинку и кнопку, результат ни о чём не скажет: непонятно, что именно сработало. Меняют один элемент за раз.

Сколько данных нужно

Вывод по трём заявкам — это не вывод. Ориентир: несколько десятков целевых действий на вариант. Если трафика мало, тест затянется на месяцы, и проще довериться здравому смыслу и опыту.

Как понять, хватит ли трафика

Простая прикидка: чем меньше разница между вариантами, тем больше нужно данных. Уловить рост конверсии с 2% до 4% можно на сотнях визитов, а разницу между 3% и 3,3% — только на десятках тысяч. Поэтому при небольшом трафике тестируют крупные изменения: другое предложение, другой первый экран, другую механику заявки. Кнопку другого цвета на таком объёме проверить невозможно.

Правила, без которых тест бессмысленен

1. Варианты работают одновременно, а не по очереди: неделя на неделю не похожа, и разницу даст сезон, а не заголовок.
2. Трафик делится случайно и поровну.
3. Считается одна главная метрика, выбранная заранее — иначе всегда найдётся показатель, где новый вариант «выиграл».
4. Тест не останавливают в момент, когда результат нравится: ранняя остановка — самый частый способ обмануть себя.
5. Учитывается полный цикл: если заявки выросли, а сделок нет, вариант проиграл.

Что тестировать в первую очередь

• Предложение на первом экране — оно решает больше, чем всё остальное вместе.
• Форму заявки: число полей, наличие цены, обязательность телефона.
• Заголовки объявлений — самая быстрая проверка, данных набирается за дни.
• Наличие цены на странице: почти всегда меняет и количество, и качество обращений.

Весь словарь — на странице рекламных терминов. Нужен разбор вашей ситуации, а не определение? Посмотрите, откуда брать заявки в вашей нише.