Uplift-модель предсказала что юзер X имеет uplift=0.15 (купит со скидкой на 15% больше чем без). После рассылки 1000 таких юзеров — реальный lift только 3pp. Что не так?
MLhardsenior
Проверяет основы машинного обучения и оценку моделей.
Варианты ответа
Это significant отклонение от ожидания модели, надо retrain на большем dataset с дополнительными feature engineering для коварианты
Uplift модели страдают от **bias** в two-model approach: variance двух моделей складывается, получаются false-high uplift предсказания. Нужна валидация через A/B на честно random группе.
Скидка слишком маленькая для измеряемого сегмента — нужно повышать с 10% до 20% и заново строить uplift предсказания
Uplift всегда меньше предсказанного на 70-80% — это норма для двухмодельного подхода, специально учитывается в бизнес-планировании
Как разобрать этот вопрос на собеседовании
Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.