Ситуация: Оцени A/B-тест нового welcome-пуша на D1 retention новых пользователей мобильного приложения и прими решение о раскатке.
Мобильное приложение сервиса. Гипотеза продакта: если на 2-м часу после первого запуска отправлять персонализированный push с незавершённым онбордингом, часть новых юзеров вернётся на следующий день. Метрика решения — D1 retention (вернулся ли пользователь в приложение на календарный день после установки). Рандомизация на уровне устройства/пользователя при первом открытии, 50/50. Тест крутили 2 полные недели (14.05–27.05.2026), чтобы поймать недельную сезонность. Тебе на разбор принесли выгрузку по группам и просят сказать, катить ли фичу на 100%.
Control (без пуша): 48 200 новых пользователей, вернулись на D1 — 13 255 → D1 retention 27.50%Variant (welcome-push): 48 050 новых пользователей, вернулись на D1 — 13 959 → D1 retention 29.05%Абсолютный прирост +1.55 п.п., относительный +5.64%Дизайн теста: базовый уровень 27.5%, MDE 1.5 п.п. (до 29.0%), alpha 0.05 (двусторонний), power 0.80 → требуется 14 138 юзеров на группуТрафик новых пользователей ~7 000/день (по 3 500 на группу) → по мощности хватило бы 5 дней, но крутили 14 ради сезонностиСтоимость доставки пуша пренебрежимо мала; риск — рост unsubscribe/uninstall от навязчивостиСплит по факту: 48 200 vs 48 050 (заявляли 50/50)