Почему обычный KFold с shuffle=True даёт оптимистичную оценку для модели прогноза спроса по времени, и как валидировать правильно?

Проверяет основы машинного обучения и оценку моделей.

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Тебе нужна система, которая сама ищет данные в БД, считает и проверяет себя через EXPLAIN в цикле «думай-действуй-наблюдай». Чем такой агент отличается от обычного one-shot запроса к LLM и чем за это платишь?
• Делаешь semantic search по 10 млн документов — обычная БД с B-tree не тянет поиск «по смыслу». Что возьмёшь под это, по каким критериям выберешь конкретное решение и когда хватит pgvector вместо managed?
• Модель оттока даёт ROC-AUC 0.97 на train и 0.68 на test. Как называется проблема, как ты её диагностируешь и что сделаешь, чтобы сократить разрыв между train и test?
• Антифрод-модель ловит мошенников среди 0.5% транзакций, а accuracy показывает 99%. Почему accuracy здесь врёт, какие метрики (precision, recall, F1, AUC) посмотришь и как выберешь порог при дорогой ошибке пропуска?
• У тебя сырые табличные данные (даты, категории, суммы), а модель даёт слабый AUC. Какими приёмами feature engineering поднимешь сигнал и какие ловушки (data leakage, высокая кардинальность категорий) учтёшь?
• Модель кредитного скоринга: AUC на train 0.98, на отложенном тесте 0.71. Что происходит и какие шаги предпримешь?
• Антифрод: мошеннических транзакций 1%. Модель «всё легально» даёт accuracy 99%. Какие метрики возьмёшь вместо accuracy и что здесь важнее — precision или recall? А в спам-фильтре — что поменяется?
• Модель оттока: AUC 0.99 на тесте, в проде разваливается. В признаках нашлась «дата закрытия счёта», а скейлер обучали на всём датасете до сплита. Какие здесь проблемы и как пересобрать пайплайн валидации?

SQL-задачи по теме

• Yandex Go: DAU change day-over-day

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает