Метрика теста — CTR = суммарные клики / суммарные показы, но рандомизация идёт по пользователю (у каждого много показов). Как корректно оценить дисперсию разницы CTR между группами?
A/B тестыhardsenior
Вопрос с собеседования аналитика по теме «A/B тесты».
ratio-metricdelta-methodunit-of-analysis
Варианты ответа
Бутстрэпом по строкам-показам с ресемплингом отдельных показов, а не пользователей, повторяя пересчёт CTR ~10 000 раз
Дельта-методом (или бутстрэпом по пользователям): учесть, что числитель и знаменатель — суммы по коррелированным показам одного юзера
Обычной формулой дисперсии доли $\frac{p(1-p)}{n}$, где p — общий CTR группы, а n — суммарное число показов в этой группе
Двухвыборочным t-тестом по строкам-показам, считая каждый показ независимым наблюдением с бинарным исходом клика 0/1
Как разобрать этот вопрос на собеседовании
Разбери, что именно проверяет вопрос, проговори ход решения по шагам и подумай о крайних случаях. На собеседовании ценят структурное рассуждение и умение объяснить логику, а не только финальный ответ.
Это вопрос продвинутого уровня — на собеседовании по нему обычно идут уточняющие follow-up вопросы, поэтому держи в голове крайние случаи и альтернативные решения.
Тема вопроса — «A/B тесты». Чтобы подготовиться к похожим задачам, отрабатывай их на практике: раздел практики помогает довести навык до автоматизма, а раздел вопросов — увидеть формулировки, которые реально встречаются на интервью аналитика данных.
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
3000+ вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.