Avito Tech: Trino + Iceberg для self-service analytics

Ситуация: Avito Tech мигрировал с Hive на Iceberg в 2024 для решения проблем schema evolution + concurrent writes. Trino — query engine для аналитиков. Спроектируй self-service analytics platform.

Реальный кейс Avito Tech (упоминается в Habr blog). Преимущества: schema evolution без переписывания файлов, time travel, atomic writes, no Hive metastore race conditions.

Доступные данные

• Iceberg tables: events (10TB/year), users (5M), products (50M)
• Trino cluster: 50+ workers
• 100+ data analysts
• Query patterns: ad-hoc 80%, scheduled 20%
• Schema changes: 2-3 per quarter

Задачи

• Iceberg table design: partitioning, sorted_by, format
• Migration from Hive: zero-downtime strategy
• Schema evolution: add column without rewrite
• Concurrent writes: optimistic concurrency control
• Compaction: scheduled OPTIMIZE для small files
• Time travel для debugging "что было в 12:00"

Все кейсы для подготовки → ← Все кейсы