A/B тест по revenue per user. По завершении: lift +3.2% (p = 0.001), но revenue distribution в обоих группах сильно скошен (несколько whale-юзеров). Что делать?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
A/Boutliersbootstrapdistribution
Варианты ответа
Меняем метрику на median revenue per user — она устойчива к outliers и не подвержена влиянию whales, p-value пересчитываем по одной строке
Удаляем всех whale-юзеров до анализа теста — они не репрезентативны для большинства, и статистические выводы должны делаться на «нормальных» пользователях
Раскатываем: p = 0.001 это очень сильный сигнал, никакие skews не могут это перевернуть, отказ от раскатки = упущенная revenue
Перепроверить bootstrap и выкинуть top-1% outliers — t-test чувствителен к skew. Если после очистки p-value сохраняется — раскатываем; если нет — нужен Mann-Whitney U или другой непараметрический
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.