Ситуация: B2C-SaaS переделал онбординг триала (пошаговый checklist + активационный aha-момент) и хочет понять, вырос ли переход trial→paid и можно ли катить на всех.
Продукт с 14-дневным free-trial. Гипотеза: если довести пользователя до первого 'ценностного действия' в первый день, конверсия в платную подписку вырастет. Тест A/B на новых регистрациях, распределение 50/50, длительность 3 недели (закрываем недельную сезонность). Метрика успеха — доля триалов, оплативших в течение окна триала. Важно не убить качество платящих (удержание M2).
Всего в тесте 16 000 новых триалов, фактический сплит: control 7 940, variant 8 060 (целевой 50/50).Control (старый онбординг): 7 940 триалов, 873 оплаты — конверсия trial→paid 11.0%.Variant (новый онбординг): 8 060 триалов, 1 007 оплат — конверсия trial→paid 12.5%.Абсолютный прирост +1.5 п.п., относительный ≈ +13.6%.Длительность теста 21 день, alpha=0.05, целевая power=0.8, заложенный MDE = 1.5 п.п.На дизайне требовалось ≈ 7 231 триала на группу — набрали ~8 000, запас по мощности есть.