Основная метрика (конверсия) выросла и значима, но guardrail «доля отписок» тоже изменилась. Как правильно поступить?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
guardrailhealth-метрикиотпискипринятие решения
Варианты ответа
Проверить значимость сдвига guardrail: рост отписок 0.5%→0.6% значим (p≈0.03), поэтому вариант не катим, несмотря на рост конверсии
Раз изменились обе метрики, к основной применяют поправку Бонферрони, и если она переживёт α/2 — вариант катят
Рост отписок на 0.1 п.п. пренебрежимо мал на фоне роста конверсии, поэтому guardrail в этом тесте можно проигнорировать
Guardrail — лишь вспомогательная метрика; решение принимают только по основной, а раз конверсия значимо выросла, вариант можно катить
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.