A/B: SRM и почему нельзя подсматривать

Условие задания

Тест запущен со сплитом 50/50. По факту в группах: контроль **10 200**, тест **9 800** пользователей.

**Задание:**
1. Что такое SRM (Sample Ratio Mismatch) и как его проверить статистически?
2. Является ли расхождение 10200/9800 поводом для тревоги?
3. Почему «посмотрим p-value каждый день и остановим, когда станет < 0.05» — это ошибка?

Темы

A/B SRM peeking chi-square валидность

Подсказки

• SRM проверяют критерием хи-квадрат: наблюдаемое распределение vs ожидаемое 50/50.
• При $n = 20000$ ожидание 10000/10000; отклонение 200 — посчитайте $\chi^2$.
• Подсматривание раздувает вероятность ложноположительного результата (multiple looks).

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "A/B: SRM и почему нельзя подсматривать"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B, SRM, peeking, chi-square, валидность.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания