Sample Ratio Mismatch: тест на перекос сплита

Условие задания

Планировали сплит 50/50. По факту: контроль **51 200**, тест **48 800** (всего 100 000). Это просто случайность или признак поломки теста (SRM)? Как проверить?

Темы

статистика SRM хи-квадрат A/B валидность

Подсказки

• Sample Ratio Mismatch — расхождение фактического сплита с заданным. Делает тест НЕвалидным.
• Проверяй хи-квадрат goodness-of-fit на 1 степени свободы.
• $\chi^2 = \sum \dfrac{(набл - ожид)^2}{ожид}$; смотри p-value (тревога при $p<0.001$).

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Sample Ratio Mismatch: тест на перекос сплита"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Статистика» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: статистика, SRM, хи-квадрат, A/B, валидность.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Статистика»?

На zasqlpython.ru есть другие задания в категории «Статистика», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания