A/B на конверсию: A — 100 из 1000, B — 120 из 1000. Стейкхолдер просит «вероятность, что B лучше» и «сколько потеряем, если ошибёмся», а не p-value. Что даёт на выходе Bayesian-подход с Beta-Binomial?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
ab-testbayesianbeta-binomial
Варианты ответа
P(B > A), но только через многочасовой MCMC: для Beta-Binomial модели аналитической формы posterior не существует
Posterior-распределение CR каждой группы, из него P(B > A) и Expected Loss — прямой ответ стейкхолдеру без p-value
Тот же результат, что t-test: при равномерном prior P(B > A) численно равна 1 − p-value, это лишь смена нотации
Точечную оценку uplift с поправкой на prior; саму вероятность «B лучше» байесовский вывод дать не может в принципе
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.