Что означает хорошая калибровка вероятностей модели?

Проверяет основы машинного обучения и оценку моделей.

Варианты ответа

• ROC-AUC равен 1.0
• Модель не использует признаки
• Среди объектов с прогнозом 0.7 примерно 70% действительно имеют целевое событие
• Все предсказания равны 0 или 1

Как разобрать этот вопрос на собеседовании

Определи тип задачи (регрессия/классификация), как ты разобьёшь данные и какой метрикой будешь мерить качество с учётом дисбаланса классов. Ценят понимание переобучения, утечки данных и того, почему выбрана именно эта метрика, а не accuracy по умолчанию.

На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.

Тема вопроса — «ML». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «ML»

• Модель оттока даёт ROC-AUC 0.97 на train и 0.68 на test. Как называется проблема, как ты её диагностируешь и что сделаешь, чтобы сократить разрыв между train и test?
• Антифрод-модель ловит мошенников среди 0.5% транзакций, а accuracy показывает 99%. Почему accuracy здесь врёт, какие метрики (precision, recall, F1, AUC) посмотришь и как выберешь порог при дорогой ошибке пропуска?
• У тебя сырые табличные данные (даты, категории, суммы), а модель даёт слабый AUC. Какими приёмами feature engineering поднимешь сигнал и какие ловушки (data leakage, высокая кардинальность категорий) учтёшь?
• Модель кредитного скоринга: AUC на train 0.98, на отложенном тесте 0.71. Что происходит и какие шаги предпримешь?
• Антифрод: мошеннических транзакций 1%. Модель «всё легально» даёт accuracy 99%. Какие метрики возьмёшь вместо accuracy и что здесь важнее — precision или recall? А в спам-фильтре — что поменяется?
• Модель оттока: AUC 0.99 на тесте, в проде разваливается. В признаках нашлась «дата закрытия счёта», а скейлер обучали на всём датасете до сплита. Какие здесь проблемы и как пересобрать пайплайн валидации?
• Что такое overfitting (переобучение) и как с ним бороться?
• Когда accuracy — плохая метрика, и что использовать вместо неё?

Полезные блог-статьи по теме

• ROC-AUC vs PR-AUC: какую метрику выбрать
• Логистическая регрессия простыми словами для аналитика
• Кластеризация k-means в Python для аналитика
• Градиентный бустинг для аналитика: как это работает