Контрольная группа в CRM — простыми словами

1. Самый простой пример

Вы хотите отправить предложение 100 000 клиентам. Вместо отправки всем:

1. 90 000 случайно выбранных клиентов получают коммуникацию.
2. 10 000 похожих клиентов её не получают — это контрольная группа.
3. Через заранее выбранный срок сравниваем покупки, выручку или другую главную метрику в двух группах.

2. Контроль для одной кампании

Для большинства CRM-команд это самый понятный и полезный вариант. Перед отправкой конкретной кампании часть подходящей аудитории случайно оставляем без этой коммуникации.

• Подходит для email, push, SMS, баннеров, персональных предложений и других кампаний.
• Помогает оценить именно дополнительный эффект конкретного воздействия.
• Особенно полезен, когда нужно понять не «сколько купили после рассылки», а «сколько купили именно благодаря рассылке».

3. Как правильно сравнивать

• Группы формируем случайно ДО отправки.
• Сравниваем одинаковую метрику за одинаковый период.
• Не выбрасываем из тестовой группы тех, кто не открыл письмо или не увидел push: иначе группы перестают быть честно сопоставимыми.
• Проверяем, не получил ли контроль то же предложение по другому каналу.
• Если используется скидка, смотрим не только на выручку, но и на прибыль / маржу.

4. Сколько людей оставлять в контроле?

Универсального правила «всегда 5%» или «всегда 10%» нет. Важнее абсолютное число людей и то, насколько редкий эффект вы хотите заметить.

На большой базе 5% могут дать огромную и достаточную группу. На маленькой базе даже 20% иногда будет мало. Для важных тестов размер лучше рассчитывать заранее так же, как для A/B-теста.

5. Глобальная контрольная группа: другой вопрос и другой горизонт

Для глобальной группы небольшую часть клиентов на длительный срок исключают из определённого набора маркетинговых CRM-коммуникаций. Остальная аудитория живёт в обычном CRM-сценарии. Затем сравнивают, как группы ведут себя со временем.

Здесь особенно важно не ждать ответа через неделю или две. Эффект CRM часто накапливается: одна коммуникация влияет мало, но десятки касаний могут менять частоту покупок, удержание и ценность клиента на длинном горизонте.

• Формируйте такую группу по когортам: например, отдельно для клиентов, впервые попавших в базу в одном месяце или квартале.
• Сохраняйте принадлежность к группе достаточно долго, чтобы увидеть накопленный эффект.
• Смотрите на месяцы, кварталы и полный цикл повторной покупки, а не только на 7–14 дней.
• Заранее определите, какие маркетинговые коммуникации контроль НЕ получает. Сервисные сообщения — чеки, статусы заказа, безопасность — обычно должны оставаться.
• Для долгого сравнения особенно важны покупки, частота, удержание, выручка на клиента, маржа и LTV — в зависимости от бизнеса.

6. Пример глобальной группы

Допустим, каждый месяц у компании появляется новая когорта активных клиентов. 95% попадают в обычную CRM-программу, а 5% случайно становятся глобальным контролем. Через 3, 6 и 12 месяцев можно сравнить:

• какая доля клиентов вернулась;
• сколько покупок сделал средний клиент;
• сколько выручки и прибыли приходится на клиента;
• как быстро клиенты перестают покупать;
• как меняется ценность клиента со временем.

Такой подход сложнее отдельного контроля кампании, зато он помогает увидеть то, чего не видно в отчёте по одной рассылке: создаёт ли CRM дополнительную ценность для бизнеса в целом.

7. Частые ошибки

• Контроль выбирают не случайно, а «как получится».
• Контроль одной кампании считают доказательством эффективности всей CRM-программы.
• Смотрят только на атрибутированную выручку: «человек получил письмо и купил».
• Контроль получает ту же скидку или предложение по другому каналу.
• После запуска из теста удаляют неоткрывших и сравнивают только активных.
• Глобальную группу оценивают через неделю и делают вывод, что эффекта нет.
• Смотрят только на выручку и забывают о стоимости скидок и марже.

8. Какой контроль нужен вам?

Итог

Если вы хотите честно оценивать CRM, начните с контроля на ключевых кампаниях. Это уже сильно улучшит качество решений. Когда процесс станет стабильным, добавляйте долгосрочную глобальную контрольную группу по когортам — она поможет понять общий вклад CRM в удержание, частоту покупок и экономику клиента.