A/B-тест ARPU с китами: t-тест, Манна—Уитни или бутстрап?

Условие задания

**Контекст.** Мобильная f2p-игра, A/B-тест редизайна внутриигрового магазина. Цель — рост выручки. Метрика — ARPU за 14 дней теста. Монетизация классическая: платит около 5% игроков, распределение чека с тяжёлым хвостом.

**Сводка по группам:**

| Статистика | Контроль (A) | Тест (B) |
|---|---|---|
| Пользователей, $n$ | 25 000 | 25 000 |
| Доля нулей | 95.2% | 94.9% |
| ARPU (среднее) | 15.2 ₽ | 16.1 ₽ |
| Медиана | 0 ₽ | 0 ₽ |
| P95 | 49 ₽ | 52 ₽ |
| Максимум | 21 000 ₽ | 96 000 ₽ |
| Ст. отклонение | ≈ 160 | ≈ 240 |

**Вопросы:**

1. Каким критерием сравнивать группы, если бизнес-вопрос — «стал ли магазин приносить больше денег»? Обоснуй выбор.
2. Распределение дико скошено: медиана 0, максимум 96 000. Применим ли здесь t-тест? Почему да или нет, и как это проверить на практике?
3. Коллега предлагает критерий Манна—Уитни, «потому что распределение ненормальное». Что не так с этим предложением именно на таких данных?
4. Один пользователь в группе B принёс 96 000 ₽. Посчитай, какую долю выручки группы B он составляет, и что произойдёт со сравнением средних, если его исключить. Можно ли его просто удалить?
5. Предложи 2-3 способа повысить чувствительность теста без увеличения выборки.

Темы

ab-тест arpu t-тест mann-whitney bootstrap выбросы

Подсказки

• Бизнес-вопрос — про деньги. Какой параметр распределения напрямую связан с суммарной выручкой группы?
• t-тест требует нормальности распределения статистики, а не сырых данных. Скорость сходимости ЦПТ можно проверить симуляцией распределения выборочного среднего.
• Манна—Уитни сравнивает P(X > Y), а не средние. Подумай, что рангам делать с 95% нулей и чем чек 96 000 ₽ отличается для рангов от чека 60 ₽.
• Прежде чем спорить об удалении кита, посчитай вклад одного его чека в разницу средних между группами.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "A/B-тест ARPU с китами: t-тест, Манна—Уитни или бутстрап?"?

Это задание для уровня hard. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Статистика» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: ab-тест, arpu, t-тест, mann-whitney, bootstrap.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Статистика»?

На zasqlpython.ru есть другие задания в категории «Статистика», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания