Продуктовые метрики: A/B-тесты

21 метрик категории «A/B-тесты» с формулами, SQL-расчётами и интерпретацией. 3 бесплатных.

Список (21)

• Statistical Power (PWR) 🔒
• Minimum Detectable Effect (MDE)
• Sample Ratio Mismatch (SRM)
• Cohen's d (Effect Size) (COHD)
• Novelty Effect (NOV) 🔒
• Confidence Interval Width (CIW) 🔒
• Experiment Lift (Lift) 🔒
• CUPED Variance Reduction (CUPED) 🔒
• Minimum Effect to be of Interest (MEI) 🔒
• Sample Size для A/B-теста (пропорции) (n*) 🔒
• Statistical Power (1−β) (Power) 🔒
• Test Runtime (длительность теста) (RUNTIME) 🔒
• Traffic Allocation (доля трафика в тест) (TRAFFIC_SPLIT) 🔒
• p-value (two-proportion z-test) (p) 🔒
• Bayesian Probability to Beat Control (P(B>A)) 🔒
• Поправка Бонферрони (α/m) (Bonferroni) 🔒
• FDR — процедура Бенджамини-Хохберга (FDR / BH) 🔒
• Family-Wise Error Rate (FWER) 🔒
• Guardrail-метрика (Guardrail) 🔒
• Дисперсия ratio-метрики (дельта-метод) (Delta-метод) 🔒
• A/A-тест: ложноположительные срабатывания (A/A FPR) 🔒

← Все метрики