Пилот на малом трафике: контроль 2 конверсии из 8, вариант 5 из 8. С равномерным приором Beta(1,1) апостериорные Beta(3,7) и Beta(6,4). Как корректно интерпретировать результат?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
байесовский A/BP(B>A)Beta-Binomialинтерпретация
Варианты ответа
P(вариант>контроль)≈0.92: разница правдоподобна, но ~8% вероятности, что вариант не лучше — до порога решения 95% данных мало, добираем трафик
P(вариант>контроль)≈0.92 — это то же самое, что p-value 0.08: результат незначим, вариант не работает, тест провален
Апостериорное среднее 0.6 против 0.25 — вариант лучше ровно в 2.4 раза, эффект огромный, можно катить на всех сразу
Байесовский тест не зависит от объёма выборки: апостериорные уже сошлись, решение принимают мгновенно без добора данных
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.