Дисперсия ratio-метрики: дельта-метод

Условие задания

**Контекст:** метрика — CTR на уровне **сессии** (клики / показы), но рандомизация идёт по **пользователю**. У пользователя несколько сессий → наблюдения внутри юзера зависимы, и обычная формула дисперсии доли занижает SE.

**Задание:** опишите, как корректно оценить дисперсию средней ratio-метрики $R = \frac{\sum x_i}{\sum y_i}$ (клики/показы) дельта-методом, и почему наивный t-тест по сессиям даёт ложную значимость.

Темы

ratio-metric delta-method variance ctr

Подсказки

• Числитель и знаменатель — суммы коррелированных величин на уровне юзера.
• Дельта-метод линеаризует отношение средних вокруг точки (E[x], E[y]).
• Единица анализа должна совпадать с единицей рандомизации (юзер), иначе SRM/занижение дисперсии.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Дисперсия ratio-метрики: дельта-метод"?

Это задание для уровня hard. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: ratio-metric, delta-method, variance, ctr.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания