В отчёте по A/B написано: «95%-й CI разницы конверсий — [0.2; 1.4] п.п.». Продакт уточняет: «то есть истинный эффект лежит в этом интервале с вероятностью 95%?» Что ответишь?
Не совсем: 95% — свойство процедуры; при многократном повторении эксперимента ~95% таких интервалов накроют истинный эффект
Нет: интервал означает, что у 95% пользователей выборки разница конверсий лежит в этих границах, остальные 5% — выбросы
Да: в частотном подходе доверительный интервал именно так и определяется — вероятность 95% для истинного значения внутри
Нет: это диапазон, куда попадут 95% будущих замеров разницы, — интервал прогнозирует следующие эксперименты, не параметр
Как разобрать этот вопрос на собеседовании
Раздели задачу на «какая гипотеза», «какой тест подходит» и «как интерпретировать результат». Держи в голове предпосылки теста, ошибки I и II рода и разницу между статистической и практической значимостью. Интервьюер чаще проверяет рассуждение, а не вывод формулы — проговаривай допущения вслух.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «Статистика». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: конспекты по статистике и a/b помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.