A/B-тесты в соцсетях: как тестировать посты и рекламу и не обмануть себя

«Видео заходит лучше картинок» — частый вывод после одного удачного клипа. Через месяц выясняется, что клип просто вышел в день праздника. A/B-тест нужен, чтобы отличать закономерность от совпадения. Ниже — что тестировать, как устроить честный тест и шаблон таблицы.

Что можно тестировать

Начинайте с того, что сильнее всего влияет на деньги: оффер и креатив в рекламе, призыв в продающих постах. Тест цвета кнопки на маленьком бюджете почти никогда не даёт различимого результата. Как писать саму первую строку, разобрано в статье первая строка поста.

Правило одной переменной

Варианты должны отличаться одним элементом. Если в варианте B другая картинка, другой текст и другая аудитория, при победе вы не узнаете, что сработало.

Что держать одинаковым:

• аудиторию и настройки таргетинга;
• бюджет и стратегию ставок;
• даты и длительность показа;
• посадочную страницу или форму;
• всё в креативе, кроме тестируемого элемента.

Если хочется проверить сразу три идеи, запускайте три последовательных теста или один тест с тремя вариантами, где каждый отличается от контрольного одним элементом.

Сколько нужно данных: простыми словами

Главная ловушка — объявить победителя слишком рано. Если вариант A принёс 3 заявки, а B — 6, кажется, что B вдвое лучше. На таких числах это может быть случайностью: подбросьте монетку 10 раз, и 6 орлов против 4 решек никого не удивят.

Простое правило для заявок, кликов или покупок при равном объёме показов:

1. Сложите результаты обоих вариантов.
2. Извлеките из суммы квадратный корень и умножьте на 2.
3. Если разница между вариантами меньше этого числа — победителя пока нет.

Это грубая оценка для случаев, когда оба варианта получили примерно одинаковое число показов. Для точных расчётов есть онлайн-калькуляторы статистической значимости. Но даже это правило спасает от главной ошибки — выводов по трём заявкам.

Из него же видно, почему бюджет на тест нельзя делать слишком маленьким. Чтобы заметить разницу в 20–30%, каждому варианту нужны десятки целевых действий, а не единицы. Если денег на это нет, тестируйте то, что даёт большие различия: оффер, формат, посадочную.

A/B-тест в рекламе ВКонтакте

Отдельной кнопки «A/B-тест» в обзорах VK Рекламы обычно не описывают; тестируют структурой кампании.

• Вариант 1: объявления в одной группе. Быстро, но алгоритм сам перераспределит показы в пользу одного объявления. Подходит для отбора креативов, но не для честного сравнения.
• Вариант 2: отдельные группы с равным бюджетом. Одна аудитория, один бюджет, одна стратегия, разные креативы. Сравнивать честнее.

В обзорах встречается совет дать кампании 2–3 дня на обучение и смотреть итоги не раньше чем через 3–5 дней. Ориентиры по ценам для планирования бюджета: в открытых обзорах CPM в VK Рекламе — 30–150 ₽ (в конкурентных нишах 200–500 ₽), CPC — 10–40 ₽, тестовый бюджет — 10–20 тыс. ₽. Как собрать сами варианты, разобрано в статьях тексты для рекламы ВК и баннеры для таргета ВК.

Для оценки по заявкам и продажам ставьте UTM-метки на каждый вариант, иначе в CRM они смешаются.

A/B-тест органических постов

В ленте нельзя показать половине подписчиков пост A, а половине — пост B. Поэтому тестируют чередованием:

1. Выберите один элемент, например формат первой строки.
2. Публикуйте посты с вариантом A и B через раз в течение 3–4 недель, в одни и те же дни и часы.
3. Сравнивайте не два поста, а медианы по 6–8 постов каждого типа.
4. Исключите посты, которые вышли в праздники или попали в рекламу.

Метрики берите из встроенной статистики: статистика сообщества ВК и статистика Telegram-канала. Что такое вовлечённость и как её считать, объясняет статья что такое ER.

Шаблон таблицы теста

Заполняйте таблицу до запуска, а не после. Так не получится подогнать гипотезу под результат.

Как не обмануть себя

• Одна главная метрика. Если заранее не выбрали, по какой метрике судить, всегда найдётся та, где «победил» любимый вариант.
• Полная неделя. Понедельник и суббота дают разную аудиторию. Тест на 2 дня искажает картину.
• Не останавливать тест на первом лидере. В первые сутки лидеры часто меняются.
• Не тестировать в праздники и распродажи, если это не тест праздничного оффера.
• Смотреть на деньги. Вариант с CTR выше на 40% может приносить заявки дороже, если кликают не те люди.
• Записывать выводы. Через полгода таблица тестов становится лучшей базой знаний о вашей аудитории.

Частые вопросы

Сколько длится A/B-тест в соцсетях?

Обычно 7 дней для рекламы и 3–4 недели для органических постов. Завершать тест можно, когда каждый вариант набрал достаточно данных и разница выше порога 2 × √суммы.

Какой бюджет нужен на тест рекламы ВКонтакте?

В открытых обзорах тестовый бюджет оценивают в 10–20 тыс. ₽. Точнее его можно посчитать от цели: нужно столько, чтобы каждый вариант собрал хотя бы несколько десятков заявок или кликов.

Можно ли тестировать сразу несколько элементов?

Можно, но тогда нужно гораздо больше данных, и малому бизнесу это редко по силам. Надёжнее проводить последовательные тесты по одному элементу.

Может ли LABRICA помочь с A/B-тестами постов?

LABRICA может написать несколько вариантов поста голосом бренда, поставить их в план по чередующемуся графику во ВКонтакте, Telegram, MAX и Одноклассниках и показать аналитику публикаций для сравнения.