Avito: real-time seller analytics на ClickHouse

Ситуация: Avito хочет дать каждому продавцу real-time dashboard: просмотры, контакты, средняя цена в категории, conversion. Стек: ClickHouse. Спроектируй pipeline + схему таблиц + queries для dashboard на 100K+ active sellers.

Реальная задача Avito Tech. Old stack — daily ETL → данные T-1 freshness. Новый стек — real-time через ClickHouse Materialized Views. Продавцы хотят видеть как меняются метрики прямо сейчас.

Доступные данные

• Events Kafka: listing_view, contact_request, message_sent, purchase
• ~500M events/day, 100K active sellers
• Latency target: <2s для dashboard
• Historical data: 90 days hot, 2 years cold (Iceberg)

Задачи

• Схема ClickHouse таблиц: events (raw), listings_dim, sellers_dim, aggregates
• Materialized View pipeline: events → seller_metrics_hourly → seller_metrics_daily
• Query для dashboard (last 24h metrics) с latency <2s
• Partitioning + ORDER BY стратегия для optimal pruning
• Edge cases: data skew (top-1% sellers = 30% events), late events (>1 hour lag)

Все кейсы для подготовки → ← Все кейсы