Модель предсказывает вероятность конверсии, но при uplift-аналитике выяснилось, что рассылка по её топу дала нулевой прирост выручки в A/B. При этом predicted probability отлично калибрована. Как объяснить парадокс менеджеру?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Модель плохо откалибрована, поэтому и uplift нулевой; после калибровки Платта прирост появится
• Высокая вероятность конверсии не равна высокому uplift: топ склонных часто «sure things», которые конвертируют и без воздействия — нужна модель инкрементального эффекта, а не склонности
• Нулевой uplift означает, что вероятностная модель сломана и её нельзя использовать ни для каких задач
• A/B-тест был недостаточно мощным — при любом сценарии модель склонности гарантирует положительный uplift, надо просто увеличить выборку

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Новая ранжирующая модель: live A/B на 50% трафика рискует выручкой и займёт месяц. Чем A/B для ML сложнее обычного и как оценить кандидата офлайн до запуска?
• DS-команда гоняет десятки обучений в неделю: метрики живут в чатах, воспроизвести модель месячной давности не может никто. Внедряешь MLflow — что именно начнёшь логировать (params, metrics, artifacts, tags) и как это закрывает воспроизводимость?
• Тюнишь XGBoost с 8 гиперпараметрами: один fit с кросс-валидацией занимает 20 минут, бюджет — одна ночь, то есть около 30 прогонов. Grid, Random или Bayesian (Optuna) — что выберешь и почему?
• Нужен бот-ассистент по внутренней базе знаний: 5 тысяч документов, обновляются ежедневно, в ответах нужны ссылки на источники. Коллега предлагает fine-tuning LLM, ты — RAG. Как устроен RAG-пайплайн и почему здесь он уместнее дообучения?
• Semantic search: нужно находить top-5 ближайших среди 5 млн эмбеддингов размерности 768, перебор за O(N × D) на каждый запрос не тянет. За счёт чего vector DB отвечает за миллисекунды и в каком случае хватит pgvector вместо отдельного Qdrant/Pinecone?
• Антифрод-модель в проде: accuracy за полгода тихо сползла с 0.92 до 0.81, код и пайплайн не менялись. Какие два вида дрифта будешь различать, чем их детектировать (PSI, KS-test, domain classifier) и почему data drift сам по себе ещё не приговор модели?
• Regularization (L1 vs L2): различия и use cases.
• Data leakage в ML: 5 типичных причин и как избегать?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает