A/B-тест на ARPU (₽ на юзера). Контроль: mean = 100, sd = 80, n = 10000. Вариант: mean = 103, sd = 82, n = 10000. Почему для такой метрики берут t-тест Уэлча, и каков вывод?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
Уэлч нужен, потому что группы зависимы; |t| ≈ 2.62, но парный тест поднял бы p до ≈ 0.05.
Дисперсии почти равны, поэтому корректнее pooled-Стьюдент; он даёт t ≈ 1.31, p ≈ 0.19 — различие незначимо.
Уэлч не требует равенства дисперсий; |t| ≈ 2.62, p ≈ 0.0088 < 0.05 — различие значимо.
При n = 10000 берут z-тест вместо Уэлча; он даёт p ≈ 0.045 — результат на грани значимости.
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.