Skillbox: новая фича «Learning Path» снизила D30 retention

Ситуация: A/B тест Learning Path: эксперимент 50/50 на новых юзерах. D30 retention в test-группе −7% (16% vs 23%).

Команда продукта была уверена что guided path = больше completion. Тест проходил 6 недель. На D7 retention одинаков — расхождение появляется к D14.

Доступные данные

• ab_assignments: user_id, variant, assigned_at
• lessons: user_id, lesson_id, completed_at
• progress: user_id, course_id, started_at, completed_at
• engagement: user_id, session_count, last_active

Задачи

• Подтвердить: разница на D30 statistically significant (p < 0.05).
• D7 vs D14 vs D30 retention сравнение test vs control.
• Engagement patterns: разница в кол-ве уроков, времени на лесcон.
• Cohort segments: новички vs middle-level — где ущерб больше.
• Гипотезы причин: «слишком жёсткий path», «потеря свободы выбора», «больше cognitive load».

Все кейсы для подготовки → ← Все кейсы