Контроль: 8 000 пользователей, 400 конверсий (5,0%). Вариант: 8 000, 440 конверсий (5,5%). Что показывает 95% доверительный интервал для разности долей (p_вариант − p_контроль) и какой из него вывод?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
доверительный интервалразность долейзначимостьширина CI
Варианты ответа
ДИ ≈ [+0,05 п.п.; +0,95 п.п.] — ноль вне интервала, различие значимо
ДИ ≈ [−0,19 п.п.; +1,19 п.п.] — ноль внутри интервала, различие незначимо
ДИ ≈ [−0,50 п.п.; +1,50 п.п.] — интервал симметричен вокруг +0,5 п.п., эффект есть
ДИ ≈ [+0,12 п.п.; +0,88 п.п.] — эффект небольшой, но статистически значимый
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.