Как проверять качество модели на проде без отложенной выборки?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Увеличить learning rate, чтобы модель быстрее подстраивалась под новые данные, не меняя процесс оценки
• Запустить модель в онлайн-эксперименте (A/B) или теневом режиме (shadow/ghost), логируя предсказания и сравнивая бизнес-метрики с текущей версией
• Оценивать модель только по метрикам на трейне (loss/AUC), считая, что прод будет вести себя так же
• Ограничиться k-fold кросс-валидацией на исторических данных и не проверять модель в реальном трафике

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Строите модель оттока. Среди фичей — колонка cancellation_reason_code, заполненная только у ушедших клиентов. На валидации ROC-AUC 0.98, в проде модель бесполезна. Что произошло?
• Меняете сложность модели от линейной регрессии к градиентному бустингу с большой глубиной деревьев. Как при этом обычно ведут себя смещение (bias) и разброс (variance) ошибки?
• Дисбаланс классов 1:99, обучаете классификатор. Коллега предлагает сделать oversampling (SMOTE) ДО train/test split, чтобы «выровнять классы честно». Почему это ошибка?
• Классификатор с порогом 0.5 даёт на тесте: TP=80, FP=40, FN=20, TN=860. Чему равны precision и recall?
• Строите скоринг с cross-validation. Подбор гиперпараметров дал модель с CV-AUC 0.88, но на финальном отложенном hold-out — 0.81. Наиболее вероятная причина разрыва?
• Что такое утечка данных (data leakage) и приведи пример target leakage, который аналитик легко пропускает при построении модели оттока (churn).
• Строим классификатор мошеннических транзакций, доля фрода 0.5%. Какую метрику качества выбрать как основную и почему?
• Почему обычный KFold с shuffle=True даёт оптимистичную оценку для модели прогноза спроса по времени, и как валидировать правильно?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает