PM предлагает A/B-тестировать изменение шрифта в кнопке Call-to-Action с Roboto на Inter. Ожидаемый эффект на конверсию ~0.1%. Нужно ли тестировать?

Вопрос с собеседования аналитика по теме «Продукт».

Варианты ответа

• Нет. Для детекта 0.1% эффекта нужны миллионы юзеров. Даже у крупного продукта это окупится минимум за полгода теста. Раскатать «по наитию» — ок, если нет risks, а потом мониторить guardrails
• Да, обязательно тестировать любое UI-изменение через A/B — это базовая data-driven практика, без теста нельзя катить даже маленькое изменение шрифта на продакшн-аудиторию
• Нет, шрифты в кнопках не влияют на метрики конверсии — это чисто эстетический выбор дизайн-команды, для которого не нужны ни A/B-тесты, ни мониторинг guardrails
• Тестировать только при наличии чёткого hypothesis-backed обоснования от UX-исследований, например данных по восприятию шрифтов целевой аудиторией в related-продуктах

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «Продукт»

• Продакт говорит «давай просто увеличим AOV» для роста GMV. Какие подводные камни?
• У тебя есть дашборд Weekly DAU. CPO спрашивает «почему на прошлой неделе был дроп?». Как ответить за 10 минут?
• Как декомпозировать продуктовую метрику? На примере «retention снизился на 5%».
• Что такое продуктовый эффект (product impact) и как его измерить?
• Как выбрать North Star Metric (NSM) для нового продукта?
• Чем OKR отличается от KPI?
• RICE vs ICE для приоритизации фичей — что выбрать?
• Как принять решение по A/B-тесту с противоречивыми метриками?

SQL-задачи по теме

• A/B-тест: разница конверсий с округлением

Полезные блог-статьи по теме

• Когортный анализ retention в SQL: пошаговый расчёт
• RFM-сегментация клиентов в SQL: пошаговый разбор 2026
• Воронка конверсии в SQL: расчёт пошагово без боли
• AARRR (Pirate Metrics): метрики продукта за 10 минут