Netflix-style: A/B показал lift trial но падение revenue post-trial

Сложный Медиа A/B 40 мин A/B test analysis

Ситуация: Test variant: 14-day trial вместо 7-day. Trial signup +30%. Но revenue месяца −15%. Что делать с фичей?

Команда празднует +30% trial signup. CFO видит revenue dip. Trial conversion rate в test значительно ниже control. Расчёт LTV: positive или negative?

Доступные данные

trials: user_id, variant, started_at, expires_at, converted
subscriptions: user_id, started_at, mrr, churned_at
engagement: user_id, content_minutes, session_count

Задачи

Funnel: signup → trial_complete → paid. Где разница.
Conversion rate: test vs control.
LTV calculation 90-day: с учётом padения CR.
Engagement в trial: больше или меньше у test группы.
Recommendation: rollback / iterate / launch.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Netflix-style: A/B показал lift trial но падение revenue post-trial

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие кейсы (Медиа)