Семейства метрик (релевантность, ранжирование, бизнес, разнообразие). Online vs offline. Какую метрику брать под бизнес-задачу. Practice: расчёт руками.
Precision@K, Recall@K, NDCG, MRR, MAP — стандарт для search/recsys. A/B-тесты для рекомендательных систем. С интерактивными playgrounds и визуализациями.
Ключевые темы: NDCG, MRR, MAP, precision@k, recall@k, поиск, рекомендации, ранжирование, A/B recsys.
В Pro-подписке по этому конспекту получите: