Новая кнопка «Оформить заказ»: выросла ли конверсия checkout?

Ситуация: A/B-тест редизайна CTA-кнопки на шаге оформления заказа: оценить прирост конверсии, значимость и принять go/no-go.

Интернет-магазин переделал кнопку «Оформить заказ» на финальном шаге checkout (крупнее, контрастнее, с суммой к оплате). Продакт хочет понять, повышает ли это долю сессий, дошедших до оплаты. Тест раскатан 50/50 по сессиям на странице оформления. Тебя просят разобрать результаты на собеседовании: от планирования выборки до бизнес-вывода.

Доступные данные

• Контроль (старая кнопка): 48 000 сессий checkout, 4 032 оформленных заказа — CR 8.40%
• Вариант (новая кнопка): 48 000 сессий checkout, 4 368 оформленных заказов — CR 9.10%
• Абсолютный прирост +0.70 п.п., относительный +8.3%
• Планирование: базовая CR 8.4%, целевой MDE до 9.0% (+7.1% отн.), α=0.05 (двусторонний), power=0.8
• Трафик ~8 000 checkout-сессий в день суммарно на обе группы (по 4 000 на арм)
• Средний чек 3 200 ₽, тест длился 12 дней

Задачи

• Рассчитать необходимый размер выборки на арм под MDE 8.4→9.0% при power=0.8, α=0.05
• Оценить минимальную длительность теста при 8 000 сессий/день
• Проверить SRM: совпадает ли фактический сплит с ожидаемым 50/50
• Посчитать z-тест двух долей и p-value, сделать вывод о значимости
• Построить 95% доверительный интервал для разницы конверсий и интерпретировать его в п.п. и в деньгах
• Дать go/no-go рекомендацию с перечнем рисков (novelty, сегменты, guardrail-метрики)

Все кейсы для подготовки → ← Все кейсы