scipy.stats для A/B-тестов: задачи с собеседований аналитика

Q: Как считать MDE (Minimum Detectable Effect)?

MDE = (z_alpha + z_beta) × sqrt(2 × variance / n). Сначала фиксируешь alpha (обычно 0.05), beta (обычно 0.2 → power 0.8), variance метрики и размер выборки n — получаешь минимальный эффект который реально задетектишь.

Q: Когда A/B-тест нельзя использовать?

Когда нет случайной выборки (selection bias), когда метрика зависит от других юзеров (network effect — соцсети), при очень маленькой выборке (n<100), при сильной не-нормальности и малой выборке. Альтернатива: bootstrap, difference-in-differences, synthetic control.

Q: Что такое CUPED?

Controlled-experiment Using Pre-Experiment Data — техника уменьшения variance через ковариаты до эксперимента. Y_adj = Y - θ × (X_pre - mean(X_pre)). Снижает variance на 30-50%, ускоряет A/B-тесты во столько же раз.

71 задач Pyodide в браузере С эталонными решениями 2026 — с реальных собесов

A/B-тесты — главный инструмент product-аналитика. На любом собесе спрашивают: «какой тест использовать для конверсии», «как считать p-value», «что такое MDE», «когда t-test, когда chi-square». В Python это всё в scipy.stats: ttest_ind для среднего, chi2_contingency для конверсии, mannwhitneyu для непараметрики. Здесь задачи на расчёт A/B-метрик из реальных интервью Яндекса, Озона, T-Bank Q1 2026.

Начать решать задачи →

Все задачи на «scipy: A/B-тесты» (71)

T-тест: сравнение двух групп Средняя Яндекс ttest_ind hypothesis AB-тест
Хи-квадрат тест независимости Сложная Тинькофф chi2_contingency independence categorical
Тест Шапиро-Уилка Лёгкая МТС shapiro normality hypothesis
Тест Колмогорова-Смирнова Средняя Авито kstest Kolmogorov-Smirnov distribution
Доверительный интервал для среднего Средняя Яндекс norm.ppf confidence_interval statistics
Биномиальная вероятность Лёгкая Тинькофф binom.pmf binomial probability
Пуассоновская вероятность Лёгкая Ozon poisson.pmf poisson probability
Экспоненциальное CDF Средняя Wildberries expon.cdf exponential probability
P-value из z-score Средняя Сбер norm.cdf z-test proportions AB-тест
Z-тест для конверсий Средняя Яндекс z_test proportions AB_test
Bootstrap CI для среднего Сложная Ozon bootstrap confidence_interval AB_test
Расчёт MDE Сложная Тинькофф MDE sample_size AB_test
Расчёт размера выборки Сложная Авито sample_size power AB_test
A/A тест: проверка сплиттера Средняя Яндекс AA_test false_positive validation
Ratio метрика: revenue per user Сложная Ozon ratio_metric RPU AB_test
Последовательный тест (Wald) Сложная Тинькофф SPRT sequential Wald AB_test
Стратифицированный анализ Сложная Сбер stratification AB_test Simpson
T-тест: сравнение двух групп Лёгкая VK ttest hypothesis_testing ab_test
Хи-квадрат тест независимости Средняя Яндекс chi2 contingency_table independence_test
Доверительный интервал для среднего Средняя Тинькофф confidence_interval t_distribution sem
Корреляция Спирмена и Пирсона Лёгкая Ozon correlation pearson spearman
Бутстрэп для оценки медианы Сложная VK bootstrap confidence_interval resampling
Тест Шапиро-Уилка: проверка нормальности Лёгкая Тинькофф shapiro normality_test hypothesis
A/B тест: t-test для средних Средняя Авито ttest ab_test hypothesis_testing
Хи-квадрат тест: зависимость категорий Средняя Wildberries chi2 contingency independence
Доверительный интервал для среднего Лёгкая Самокат confidence_interval sem t_distribution
Bootstrap: доверительный интервал для медианы Сложная Delivery Club bootstrap confidence_interval median
Корреляция Спирмена: монотонная связь Лёгкая Lamoda spearman correlation rank
KS-тест: проверка нормальности распределения Сложная Мегафон ks_test shapiro normality
Множественные сравнения: поправка Бонферрони Сложная Авито bonferroni multiple_testing fdr
Среднее, медиана, мода массива Лёгкая Яндекс mean median mode statistics
Z-score нормализация Лёгкая Тинькофф zscore normalization outliers statistics
Доверительный интервал среднего Лёгкая Сбер confidence_interval normal_distribution statistics
Корреляция Пирсона двух метрик Лёгкая VK pearson correlation statistics
Генерация выборки и гистограмма Лёгкая Ozon normal_distribution histogram pdf statistics
Квантили распределения Лёгкая Тинькофф percentile quantile iqr statistics
Стандартная ошибка среднего Лёгкая Сбер sem standard_error statistics
Проверка нормальности (тест Шапиро-Уилка) Лёгкая Яндекс shapiro normality_test statistics
Описательная статистика с skew и kurtosis Лёгкая Ozon describe skewness kurtosis statistics
Ковариационная матрица Лёгкая VK covariance correlation_matrix statistics
T-тест для двух независимых выборок Средняя Яндекс ttest levene cohen_d ab_test
Хи-квадрат тест для таблицы сопряженности Средняя Ozon chi2 crosstab cramers_v statistics
Bootstrap доверительный интервал медианы Средняя Тинькофф bootstrap confidence_interval median statistics
A/B тест конверсии (z-test для пропорций) Средняя Яндекс ztest proportions ab_test conversion
Расчёт MDE по формуле Средняя Сбер mde sample_size ab_test statistics
CUPED -- уменьшение дисперсии через ковариату Средняя Яндекс cuped variance_reduction ab_test statistics
Пермутационный тест разницы средних Средняя VK permutation_test nonparametric ab_test statistics
QQ-plot для проверки нормальности Средняя Тинькофф qqplot probplot normality statistics
Расчёт размера выборки для A/B теста Средняя Сбер sample_size power_analysis ab_test statistics
Линейная регрессия + R-квадрат Средняя VK linregress regression r_squared statistics
Поправка Бонферрони для множественных тестов Средняя Ozon bonferroni multiple_testing fwer statistics
Расчёт мощности теста (power) Средняя Яндекс power_analysis sample_size ab_test statistics
Bootstrap ratio-метрики (ARPU) с CI Сложная Яндекс bootstrap arpu ratio_metric ab_test
Delta-method для ratio-метрики Сложная Тинькофф delta_method ratio_metric ab_test statistics
Стратифицированный z-тест Сложная Сбер stratification ztest ab_test simpson_paradox
Логистическая регрессия + marginal effects Сложная Тинькофф logistic_regression marginal_effects classification statistics
BH-коррекция (FDR) для 20 p-values Сложная Ozon benjamini_hochberg fdr multiple_testing statistics
Байесовский A/B тест (Beta distribution) Сложная Яндекс bayesian beta_distribution ab_test statistics
Пуассоновская регрессия для count-метрик Сложная VK poisson_regression irr count_data statistics
Симуляция мощности теста (Monte Carlo) Сложная Сбер monte_carlo power_simulation ab_test statistics
t-test для сравнения двух групп Средняя Tinkoff t-test ab-testing scipy.stats
Chi-square для categorical A/B Средняя Ozon chi-square ab-testing contingency CTR
ANOVA: сравнение 3+ групп Средняя Skyeng ANOVA f-test multi-group scipy.stats
Mann-Whitney U для не-нормальных данных Сложная Aviasales mann-whitney non-parametric rank-test
Shapiro-Wilk: нормальность распределения Средняя Сбер shapiro normality distribution-test
A/B-тест: z-test для разницы пропорций Средняя Yandex / Ozon statistics A/B z-test proportions
Sample Ratio Mismatch (SRM) тест Средняя general statistics A/B SRM chi-square
CUPED variance reduction Сложная general statistics A/B CUPED variance-reduction
A/B test: t-test для среднего чека Средняя Ozon ab-testing scipy t-test
A/B test: chi-square для конверсии (rate metric) Средняя T-Bank ab-testing scipy chi-square conversion
Sample size calculator: сколько нужно юзеров для A/B Сложная Yandex ab-testing sample-size scipy power-analysis

FAQ: частые вопросы про scipy: a/b-тесты

Какой тест использовать для A/B?

Конверсия (бинарная метрика): chi-square или z-test пропорций. Среднее (выручка, время на сайте): t-test (если нормальное распределение) или Mann-Whitney (если нет). Сложные: bootstrap + permutation test.

Что такое p-value простыми словами?

Вероятность увидеть наблюдаемую разницу (или большую) при условии что разницы НЕТ. p < 0.05 означает: если бы группы были одинаковыми, такая разница случилась бы реже 5% времени — поэтому скорее всего разница есть.

Как считать MDE (Minimum Detectable Effect)?

MDE = (z_alpha + z_beta) × sqrt(2 × variance / n). Сначала фиксируешь alpha (обычно 0.05), beta (обычно 0.2 → power 0.8), variance метрики и размер выборки n — получаешь минимальный эффект который реально задетектишь.

Когда A/B-тест нельзя использовать?

Когда нет случайной выборки (selection bias), когда метрика зависит от других юзеров (network effect — соцсети), при очень маленькой выборке (n<100), при сильной не-нормальности и малой выборке. Альтернатива: bootstrap, difference-in-differences, synthetic control.

Что такое CUPED?

Controlled-experiment Using Pre-Experiment Data — техника уменьшения variance через ковариаты до эксперимента. Y_adj = Y - θ × (X_pre - mean(X_pre)). Снижает variance на 30-50%, ускоряет A/B-тесты во столько же раз.

Связанные темы Python

Pandas: основы · Pandas groupby · Pandas merge / join · Pandas time series · NumPy векторизация · sklearn для аналитика · Графики: matplotlib / seaborn

Связанные темы SQL

A/B-тестирование

Открыть весь Python-тренажёр (532 задач) →