Две модели скоринга: A имеет ROC-AUC 0.88, B — 0.85. Но при рабочем пороге, отбирающем топ-2% заявок, у B заметно выше precision. Какую модель выбрать под бизнес-задачу «минимизировать ложные блокировки в топ-сегменте»?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• Ничего нельзя решить без пересчёта accuracy и F1-меры обеих моделей на полном датасете при стандартном пороге 0.5, а не только в сегменте топ-2%
• Модель A, потому что разница в ROC-AUC 0.03 статистически значима на этом объёме и всегда перекрывает разницу в precision на любом пороге
• Модель A: раз её ROC-AUC выше, она доминирует над B на всех порогах отсечения, включая топ-2%, поэтому precision в этой точке у неё тоже выше
• Модель B: AUC усредняет качество по всем порогам, а бизнесу важен precision в конкретной рабочей точке (топ-2%), где B лучше — метрику надо выбирать под операционный порог

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• На задаче с дисбалансом классов (1% позитивов, фрод) модель показала ROC-AUC 0.92, а заказчик недоволен. Почему ROC-AUC может вводить в заблуждение и что смотреть вместо неё?
• Для кросс-валидации на временном ряде корректнее всего использовать:
• Если снизить порог классификации, чтобы поднять recall, то precision при прочих равных:
• Модель даёт accuracy 0.98 на train и 0.71 на validation. Большой разрыв между ними сильнее всего указывает на:
• Где находится утечка данных в пайплайне: scaler.fit(X) на всех данных, потом train_test_split, потом обучение?
• При сильном дисбалансе классов (1% позитивов) для оценки качества предпочтительнее, чем ROC-AUC:
• В задаче бинарной классификации с сильным дисбалансом классов (1% позитивов) модель A даёт ROC-AUC 0.92, модель B — ROC-AUC 0.90. По PR-AUC модель B заметно выше. Какую метрику предпочесть для выбора модели и почему?
• При обучении градиентного бустинга (XGBoost/LightGBM) увеличение числа деревьев (n_estimators) при фиксированных прочих гиперпараметрах в какой-то момент ухудшает качество на валидации. Какое утверждение верно описывает причину и корректную меру?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает