Sample Ratio Mismatch (SRM)

Что такое Sample Ratio Mismatch (SRM)?

Проверка, что размер групп A и B соответствует ожидаемому split.

Формула

χ² = Σ (observed - expected)² / expected

Как считать

Chi-square test: наблюдаемое соотношение vs ожидаемое (обычно 50/50).

Зачем нужна

SRM = баг в рандомизации. Результаты теста невалидны.

SQL-запрос

SELECT
  variant,
  COUNT(*) AS observed,
  SUM(COUNT(*)) OVER () / 2.0 AS expected,
  ROUND(POWER(COUNT(*) - SUM(COUNT(*)) OVER () / 2.0, 2)
    / (SUM(COUNT(*)) OVER () / 2.0), 4) AS chi2_contribution
FROM experiment_users
WHERE experiment_id = 'exp_123'
GROUP BY 1;