Коллега предлагает в A/B односторонний тест: «мы же ждём рост — p-value выйдет меньше, закончим быстрее». Что ответишь и какой риск он упускает?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
собеседованиеA/Bone-tailedtwo-tailedгипотезы
Варианты ответа
Соглашусь: односторонний мощнее при той же выборке, а направление эффекта мы зафиксировали заранее — риск не вырастет
Запущу оба варианта параллельно и возьму в отчёт тот, где p-value ниже, — так решение обопрётся на больше данных
Предложу односторонний, но с порогом α = 0.1: расширенный уровень значимости компенсирует непроверенную вторую сторону
Беру двусторонний: фича может и ухудшить метрику, а тест «на рост» деградацию не поймает; сторона ради p-value — подгонка
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.