EdTech: геймификация онбординга и completion rate

Ситуация: Оцени A/B-тест игровой механики (стрики + прогресс-бар + бейджи) на completion rate вводного курса и реши, раскатывать ли геймификацию.

EdTech-платформа. Много новичков бросают вводный курс на середине. Продакт добавил геймификацию онбординга: дневные стрики, прогресс-бар модулей и бейджи за завершённые уроки. Метрика решения — completion rate вводного курса (дошёл ли пользователь до финального урока в течение 14 дней после старта). Рандомизация на уровне пользователя при старте курса, 50/50. Тест крутили 14 дней. Тебя просят разобрать результаты и дать рекомендацию, при этом проверить, не 'подсмотрели' ли результат раньше срока.

Доступные данные

• Control (без геймификации): 6 100 учеников, завершили курс 2 562 → completion rate 42.00%
• Variant (геймификация): 6 050 учеников, завершили курс 2 740 → completion rate 45.29%
• Абсолютный прирост +3.29 п.п., относительный +7.83%
• Дизайн: базовый уровень 42%, MDE 4 п.п. (до 46%), alpha 0.05 (двусторонний), power 0.80 → нужно 2 414 учеников на группу
• Приток новых учеников на курс ~900/день (по 450 на группу) → по мощности хватает 6 дней, крутили 14 (2 недельных цикла)
• Guardrail: среднее время до завершения и доля 'формальных' прохождений (проскок уроков) не должны вырасти
• Сплит по факту: 6 100 vs 6 050 при заявленном 50/50

Задачи

• Проверь SRM и AA-санити (сплит 50/50 не поехал)
• Проверь, что мощности хватило и тест не остановили до срока (peeking по 6-дневной границе мощности)
• Оцени значимость разницы completion rate (two-prop z-test)
• Построй 95% ДИ для абсолютной разницы и сравни нижнюю границу с заложенным MDE 4 п.п.
• Проверь guardrail: не выросла ли доля 'проскок'-прохождений и время до завершения
• Дай рекомендацию с оценкой дополнительно завершивших курс учеников

Все кейсы для подготовки → ← Все кейсы