Что такое переобучение (overfitting)?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Модель получила недостаточно данных для обучения — чтобы избавиться от overfitting нужно собрать больше сэмплов и дообучить на расширенной выборке
• Высокий bias модели: она не способна уловить сложные паттерны из-за ограниченной capacity и даёт плохое качество одновременно на train и test выборках
• Модель слишком хорошо выучила тренировочные данные (включая шум) и плохо работает на новых. Train accuracy высокая, test accuracy низкая
• Ситуация, когда модель обучалась слишком долго (много эпох) — overfit исправляется сокращением числа итераций обучения или уменьшением learning rate

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это базовый вопрос — на собеседовании его задают как разминку и фильтр, поэтому важно ответить уверенно и без заминок.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Зачем нужна кросс-валидация, если есть простой train/test split? Когда нельзя использовать обычный KFold и что взять вместо него?
• Объясни bias-variance trade-off. Как по кривым обучения (train/validation) понять, что у модели высокий bias, а где высокий variance?
• На задаче с дисбалансом классов (1% позитивов, фрод) модель показала ROC-AUC 0.92, а заказчик недоволен. Почему ROC-AUC может вводить в заблуждение и что смотреть вместо неё?
• Для кросс-валидации на временном ряде корректнее всего использовать:
• Если снизить порог классификации, чтобы поднять recall, то precision при прочих равных:
• Модель даёт accuracy 0.98 на train и 0.71 на validation. Большой разрыв между ними сильнее всего указывает на:
• Где находится утечка данных в пайплайне: scaler.fit(X) на всех данных, потом train_test_split, потом обучение?
• При сильном дисбалансе классов (1% позитивов) для оценки качества предпочтительнее, чем ROC-AUC:

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает