В чём разница между статистической и практической значимостью?
A/B тестыmediummiddle
Вопрос с собеседования аналитика по теме «A/B тесты».
quiz-bankab-testsignificance
Варианты ответа
По сути одно и то же: если эффект статистически значим (p < 0.05), он автоматически значим и для бизнеса, так как отражает реальное изменение поведения пользователей
При достижении p < 0.05 эффект гарантированно практически значим, потому что мы уже учли достаточный объём выборки через предварительный расчёт MDE и мощности теста
Статистическая значимость (p < α) означает, что эффект не объясняется шумом. Практическая значимость — что эффект достаточно большой для бизнес-решения. Они могут не совпадать
Практическая значимость определяется исключительно через p-value: чем меньше p, тем больше практический эффект для бизнеса — это общепринятая интерпретация в A/B-тестах
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.