Измерить эффект нового алгоритма ленты на вовлечённость соцсети

Условие задания

## Контекст

Вы аналитик в соцсети (лента постов от друзей и пабликов). Команда рекомендаций выкатила новый ML-алгоритм ранжирования ленты и запустила A/B-тест на 2 недели: 50% пользователей видят старую ленту (`control`), 50% — новую (`treatment`). Продакт хочет катить новый алгоритм на всех, потому что «время в приложении выросло». Ваша задача — дать честный вердикт: действительно ли новая лента улучшает вовлечённость, или это временный эффект новизны, и нет ли скрытого вреда.

Ловушка кейса: рост одной метрики (время в ленте) может маскировать вред по другой (меньше публикаций, меньше личных сообщений — сигнал, что люди залипают в потреблении вместо создания контента).

## Что дано

Таблица `experiment_assignment` — распределение по группам.

| колонка | тип | описание |
|---|---|---|
| `user_id` | int | id пользователя |
| `variant` | text | `control` или `treatment` |
| `assigned_date` | date | дата попадания в эксперимент |

Таблица `daily_activity` — дневная активность каждого пользователя за 14 дней теста.

| колонка | тип | описание |
|---|---|---|
| `user_id` | int | id пользователя |
| `activity_date` | date | день |
| `feed_seconds` | int | секунд в ленте |
| `posts_created` | int | опубликовано постов |
| `dm_sent` | int | отправлено личных сообщений |
| `sessions` | int | число сессий за день |

## Задание

1. Сравните группы по средней дневной вовлечённости: `feed_seconds`, `posts_created`, `dm_sent`. Посчитайте относительный прирост treatment vs control (в %).
2. Проверьте **novelty-эффект**: постройте динамику `feed_seconds` по дням теста для обеих групп. Если разрыв treatment−control сужается к концу — эффект новизны, а не устойчивое улучшение.
3. Оцените **статистическую значимость** прироста по `feed_seconds` (t-тест по средним на пользователя).
4. Дайте вердикт: катить / не катить / продлить тест — с обоснованием, включая guardrail-метрики (posts, dm).
5. Формат ответа: сводная таблица метрик + вывод.

Темы

A/B-тест engagement novelty-effect DAU/MAU статзначимость product-metrics

Подсказки

• Сначала сверните дневные данные до одного числа на пользователя (среднее в день), иначе users с разным числом дней перекосят среднее.
• Novelty-эффект виден на дневном тренде разрыва: постройте avg feed_seconds по (день × variant) и смотрите, сходится ли кривая treatment к control.
• Для значимости берите независимую выборку — по одному агрегату на user, а не по 14 строкам на user (иначе нарушите независимость наблюдений).
• Guardrail: рост feed_seconds при падении posts_created / dm_sent — это может быть регресс, а не победа.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Измерить эффект нового алгоритма ленты на вовлечённость соцсети"?

Это задание для уровня hard. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Продуктовые задачи» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, engagement, novelty-effect, DAU/MAU, статзначимость.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Продуктовые задачи»?

На zasqlpython.ru есть другие задания в категории «Продуктовые задачи», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания