CUPED: как ускорить A/B снижением дисперсии

Условие задания

A/B-тест требует слишком большой выборки. Коллега предлагает CUPED, используя данные ДО эксперимента. Как это снижает дисперсию и на сколько? Что нужно для применения?

Темы

статистика CUPED снижение дисперсии A/B

Подсказки

• CUPED корректирует метрику по ковариате из пред-периода (обычно та же метрика до теста).
• Снижение дисперсии $\approx \rho^2$, где $\rho$ — корреляция метрики до и во время теста.
• Корректировка не смещает оценку эффекта (ковариата не зависит от назначения группы).

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "CUPED: как ускорить A/B снижением дисперсии"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Статистика» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: статистика, CUPED, снижение дисперсии, A/B.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Статистика»?

На zasqlpython.ru есть другие задания в категории «Статистика», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания