Что такое Simpson's Paradox и как он может обмануть продуктового аналитика при сравнении групп?
Метрикиmediummiddle
Проверяет понимание продуктовых метрик и юнит-экономики.
statisticsSimpson-paradoxsegmentation
Варианты ответа
Когда маленькая выборка показывает большой эффект, исчезающий при увеличении n. Это следствие высокой дисперсии — с ростом выборки эффект регрессирует к нулю и значимость исчезает
Ошибка множественных сравнений: при одновременной проверке многих гипотез одна случайно окажется значимой. Simpson доказал это математически для любой α выше нуля процентов
Когда метрика кажется растущей, но это артефакт изменения знаменателя, а не числителя. Например, CTR вырос потому что упали показы, не потому что стало больше кликов по баннеру
Тренд в агрегированных данных противоречит тренду внутри подгрупп из-за неравного распределения третьей переменной. Классика: A лучше B в среднем, но B лучше A во всех сегментах
Как разобрать этот вопрос на собеседовании
Начни с бизнес-смысла: что метрика измеряет, как считается и какие у неё подводные камни (средние скрывают хвосты, выручка vs клиентский отток). Интервьюер проверяет, свяжешь ли ты метрику с решением — что ты сделаешь, если она вырастет или упадёт.
На собеседовании по такому вопросу важно не только назвать ответ, но и кратко объяснить, почему он верный.
Тема вопроса — «Метрики». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: справочник метрик помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.