Как оценить стабильность эффекта по времени в тесте?

Вопрос с собеседования аналитика по теме «A/B тесты».

Варианты ответа

• Смотреть исключительно на финальный p-value по итогам всего периода, не анализируя, как эффект менялся по дням
• Проверять лишь наличие или отсутствие SRM в начале эксперимента, не анализируя временную стабильность эффекта
• Ограничиться сравнением только средних значений за весь период эксперимента без временного разреза
• Строить динамику эффекта по неделям/дням (uplift и доверительные интервалы) и смотреть, стабилен ли знак и величина эффекта во времени

Как разобрать этот вопрос на собеседовании

Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «A/B тесты»

• SaaS: конверсия из trial в платящего = 10.0%. Новый онбординг тестируем на 8 000 пользователей в каждой группе, ожидаем прирост до 11.5%. α = 0.05 (двусторонний). Какова фактическая мощность теста?
• Для e-commerce теста рассчитали 13 911 визитов на группу (конверсия 3%→3.6%, мощность 80%). В воронку теста попадает ~4 000 подходящих визитов в сутки на весь тест. Сколько минимум дней крутить тест на 2 группы?
• SaaS-онбординг: конверсия trial→paid = 12%, хотим уверенно ловить прирост до 14% (MDE +2 п.п.). α = 0.05 (двусторонний), мощность 90%. Сколько пользователей нужно на группу?
• У SaaS-теста нужно 5 937 пользователей на группу (trial→paid 12%→14%, мощность 90%). В trial ежедневно заходит ~1 500 новых пользователей, всех делим на 2 группы. За сколько дней наберём выборку?
• E-commerce: конверсия add-to-cart = 4.0%. Тест запустили на 25 000 визитов в каждой группе, ожидаемый прирост до 4.5%. α = 0.05 (двусторонний). Достаточно ли мощности при пороге 80%?
• Тест конверсии в оплату. Контроль A: 12 000 визитов, 360 оплат (3,0%). Вариант B: 12 000 визитов, 432 оплаты (3,6%). Уровень значимости α = 0,05 (двусторонний). Значимо ли различие по z-тесту для двух долей?
• Контроль: 8 000 пользователей, 400 конверсий (5,0%). Вариант: 8 000, 440 конверсий (5,5%). Что показывает 95% доверительный интервал для разности долей (p_вариант − p_контроль) и какой из него вывод?
• Конверсия в покупку выросла с 3,0% в контроле до 3,6% в варианте. Как корректно описать эффект менеджеру, не вводя его в заблуждение?

Тестовые задания

• Sample size и MDE для A/B-теста конверсии
• Дельта-метод для ratio-метрики (выручка на клик)

Полезные блог-статьи по теме

• Guardrail-метрики в A/B тесте: что это и зачем
• dbt Tests: generic, custom и dbt-utils с примерами