Offline vs online metrics, gap между ними. Standard A/B flow: shadow → pilot → A/B → rollout. Interleaving для быстрых тестов. Guardrail-метрики. Sample size калькулятор. Симуляция CTR теста.
Precision@K, Recall@K, NDCG, MRR, MAP — стандарт для search/recsys. A/B-тесты для рекомендательных систем. С интерактивными playgrounds и визуализациями.
Ключевые темы: NDCG, MRR, MAP, precision@k, recall@k, поиск, рекомендации, ранжирование, A/B recsys.
В Pro-подписке по этому конспекту получите: