Временной ряд транзакций фрода. Коллега делает обычную k-fold (случайное перемешивание) кросс-валидацию и получает отличный AUC. Что не так и как валидировать правильно?
MLmediummiddle
Проверяет основы машинного обучения и оценку моделей.
data leakageвременные рядыкросс-валидация
Варианты ответа
Проблема только в размере фолдов — нужно увеличить число разбиений k до 20, чтобы устранить случайность порядка и стабилизировать AUC
Всё корректно: перемешивание фолдов повышает робастность оценки AUC, а для задачи фрода временной порядок наблюдений значения не имеет
Утечка из будущего: случайные фолды дают модели тренироваться на транзакциях позже валидационных — нужен TimeSeriesSplit (обучение на прошлом, валидация на будущем)
Нужно перейти на LeaveOneOut кросс-валидацию, потому что только она корректно работает с сильно несбалансированными временными данными
Как разобрать этот вопрос на собеседовании
Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.