Зачем нужно разделение на train/test выборки?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Test-выборка используется для дообучения модели финальными данными, а train — только для первоначальной проверки архитектуры нейросети или дерева решений
• Разделение не нужно если данных достаточно много (10M+ примеров) — в таком случае модель не сможет переобучиться по определению и оценка корректна без splits
• Чтобы ускорить процесс обучения модели за счёт уменьшения объёма данных, на которых нужно рассчитывать градиенты: train — это половина от полного датасета по объёму
• Чтобы оценить, как модель будет работать на новых данных: train — для обучения, test — для проверки обобщающей способности. Без разделения — overfitting: модель заучит ответы

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это базовый вопрос — на собеседовании его задают как разминку и фильтр, поэтому важно ответить уверенно и без заминок.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Как L1 и L2 регуляризация влияют на веса линейной модели и когда выбрать каждую?
• Как интерпретировать коэффициенты логистической регрессии для бизнес-аудитории?
• Модель оттока даёт ROC-AUC 0.96 на train и 0.69 на test. Как называется проблема, как ты её обнаружишь и какими приёмами сократишь разрыв между train и test?
• Зачем делить данные на три части — train, validation и test, а не на две? Что считаешь на каждой части и что сломается, если подбирать гиперпараметры прямо по test?
• Когда логистическая регрессия лучше градиентного бустинга и наоборот? Как выбрать модель для бизнес-задачи?
• В чём ключевая разница между supervised и unsupervised обучением?
• Что такое overfitting и как его обнаружить?
• Когда выбрать precision вместо recall в качестве primary метрики классификации?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает