RAG Precision @ K (P@K)

Что такое RAG Precision @ K (P@K)?

Доля релевантных документов среди top-K чанков, переданных модели.

Формула

Precision@K = (1/N) × Σ (relevant_in_topK / K)

Как считать

Для каждого запроса асессор оценивает релевантность каждого из K извлечённых чанков (1/0). Усредняем по запросам.

Зачем нужна

Прямой драйвер качества RAG-системы. Если P@5 = 0.4, модель видит 3 из 5 нерелевантных чанков → галлюцинации почти неизбежны.

SQL-запрос

SELECT
  retriever_version,
  AVG(relevant_count * 1.0 / k) AS precision_at_k
FROM (
  SELECT query_id, retriever_version, k, SUM(is_relevant) AS relevant_count
  FROM rag_eval
  WHERE rank_position <= 5
  GROUP BY query_id, retriever_version, k
) t
GROUP BY retriever_version;