Антифрод-модель в проде: accuracy за полгода тихо сползла с 0.92 до 0.81, код и пайплайн не менялись. Какие два вида дрифта будешь различать, чем их детектировать (PSI, KS-test, domain classifier) и почему data drift сам по себе ещё не приговор модели?

Проверяет основы машинного обучения и оценку моделей.

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Объясни precision, recall и F1. Когда что важнее?
• Как оценить feature importance и какие подводные камни?
• Модель показывает ROC-AUC 0.94 на сильно несбалансированном датасете (фрод, 0.5% позитивов), но в проде precision при разумном recall катастрофически низкий. Почему ROC-AUC вводит в заблуждение и что смотреть вместо неё?
• Вы прогнозируете отток. В пайплайне: StandardScaler фитится на всём датасете, затем train_test_split, затем обучение. На кросс-валидации метрики отличные, в проде — провал. Где основная ошибка?
• Объясни bias-variance trade-off не на определении, а на практике: как по кривым обучения (learning curves) отличить high bias от high variance и что делать в каждом случае?
• Senior спрашивает: чем L1-регуляризация принципиально отличается от L2 в задаче с 500 коррелированными признаками, и что выбрать, если нужна интерпретируемая разреженная модель?
• У тебя временной ряд транзакций, нужно валидировать модель прогноза. Почему обычный KFold/shuffle-split здесь — грубая ошибка, и как устроена правильная кросс-валидация?
• Модель в проде деградирует за 3 месяца, хотя код не менялся. Объясни разницу между data drift, concept drift и label shift и как мониторить каждый без свежих лейблов.

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает