Дерево решений на трейне даёт accuracy 0.99, на тесте 0.71; лог-регрессия — 0.80 и 0.79 соответственно. Продакт спрашивает, что делать с деревом. Что вы диагностируете и предлагаете?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Лог-регрессия переобучена, потому что её train и test почти равны — это признак заучивания шаблона
• Разница объясняется случайностью сплита, при другом random_state дерево и лог-регрессия поменяются местами
• Дерево переобучено (высокий variance): большой разрыв train-test — признак переобучения, нужно ограничить глубину/min_samples_leaf или перейти к ансамблю (random forest, бустинг)
• Дерево недообучено (высокий bias): низкий тест означает нехватку сложности, нужно увеличить глубину дерева и убрать регуляризацию

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это базовый вопрос — на собеседовании его задают как разминку и фильтр, поэтому важно ответить уверенно и без заминок.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Модель оттока даёт ROC-AUC 0.97 на train и 0.68 на test. Как называется проблема, как ты её диагностируешь и что сделаешь, чтобы сократить разрыв между train и test?
• Антифрод-модель ловит мошенников среди 0.5% транзакций, а accuracy показывает 99%. Почему accuracy здесь врёт, какие метрики (precision, recall, F1, AUC) посмотришь и как выберешь порог при дорогой ошибке пропуска?
• У тебя сырые табличные данные (даты, категории, суммы), а модель даёт слабый AUC. Какими приёмами feature engineering поднимешь сигнал и какие ловушки (data leakage, высокая кардинальность категорий) учтёшь?
• Модель кредитного скоринга: AUC на train 0.98, на отложенном тесте 0.71. Что происходит и какие шаги предпримешь?
• Антифрод: мошеннических транзакций 1%. Модель «всё легально» даёт accuracy 99%. Какие метрики возьмёшь вместо accuracy и что здесь важнее — precision или recall? А в спам-фильтре — что поменяется?
• Модель оттока: AUC 0.99 на тесте, в проде разваливается. В признаках нашлась «дата закрытия счёта», а скейлер обучали на всём датасете до сплита. Какие здесь проблемы и как пересобрать пайплайн валидации?
• Что такое overfitting (переобучение) и как с ним бороться?
• Когда accuracy — плохая метрика, и что использовать вместо неё?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает