Измерение аплифта CRM контрольной группой
Если вы не можете сказать, сколько CRM заработала бы без кампании, вы не можете сказать, что кампания сработала. Контрольная группа - единственный честный ответ.
Любая CRM-команда покажет вам дашборд. Открытия, клики, выручка, приписанная последней кампании, график, который идёт вверх. Чего почти никто не покажет - единственную важную цифру: сколько этой выручки пришло бы всё равно, вообще без кампании.
Без этой цифры «кампания принесла выручку» - это заявление, а не измерение.
Атрибуция - это не аплифт
Ловушка - атрибуция. Игрок получает письмо-возврат, потом депозит, и депозит приписывается письму. Но многие из этих игроков задепозитили бы в любом случае. Атрибуция считает всех; аплифт считает только тех, кого кампания реально изменила. Разрыв между ними - там, где тихо умирают маркетинговые бюджеты.
Этот разрыв не закрыть, вглядываясь в те же данные. Нужно отложить.
Контрольная группа - весь фокус
Контрольная группа - случайно отложенный набор игроков, которые не получают действий от модели. Это ваша честная база - что происходит без вмешательства. Сравните обработанных с ними, и разница - это аплифт. Реальный, причинный, защитимый.
Retivo гоняет это как трёхрукий тест в каждом внедрении:
- Контроль. Отложенная группа без действий от модели. Это честная база.
- Ручной. Ваша текущая CRM и команда - ровно как работают сегодня.
- Retivo. Те же игроки под управлением модели.
Когда все три идут на одной популяции одновременно, вы читаете сразу два разрыва: насколько модель побила бездействие и насколько - ваш текущий ручной труд. Если не побила ручное - это видно ясно, и вы должны знать это до масштабирования.
Почему три руки, а не две
Простой A/B против контроля скажет, что модель побила ничто. Полезно, но это не то решение, что вы принимаете. Решение - переходить ли от того, что вы делаете сейчас, к новому, поэтому в тесте нужна ручная рука. Трёхрукая схема отвечает на реальный вопрос - лучше ли это моего статус-кво, - а не на лёгкий.
Дисциплина, которую это навязывает
Гонять контрольную группу неуютно, потому что она может сказать, что кампания не сработала. В этом дискомфорте и суть. Команда, которая меряет контрольной группой, не обманет себя атрибуцией и не продаст вам аплифт, который не заслужила.
Этому стандарту следуем и мы. Мы не публикуем на этом сайте выдуманную точность или аплифт, потому что единственная честная цифра - та, что измерена на ваших игроках против контрольной группы. Когда мы говорим, что измеряем собственный аплифт, мы имеем в виду именно это.
Если ваша нынешняя отчётность не отделяет то, что вызвала кампания, от того, что случилось бы всё равно, - это первое, что стоит починить. До любой новой модели, до любого нового инструмента.
Каждое внедрение Retivo включает замер трёхрукой контрольной группой. Ваша цифра измеряется на ваших игроках.