Прод-кейс. A/B-тест раскатали на уровне пользователя (splitting по user_id), но метрику 'конверсия сессии в покупку' аналитик посчитал на уровне сессий и получил статзначимый результат p=0.01. Ведущий аналитик говорит, что вывод невалиден. Нужно объяснить, в чём проблема, и предложить корректный анализ. Дополнительно: как проверить, что сплит вообще корректный.
Дано: 50000 пользователей на группу, в среднем 3 сессии на пользователя, конверсия сессии ~6% в контроле, ~6.4% в тесте.
Это задание для уровня medium. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания