AQE: Adaptive Query Execution в деталях
PySpark для аналитикаТема 3. Оптимизация и Catalyst
3 фичи AQE: coalesce partitions, skew join, switch broadcast. Local shuffle reader. Конфигурация. Бенчмарки на real-world данных.
О разделе «Тема 3. Оптимизация и Catalyst»
Lazy evaluation, Catalyst optimizer, AQE, правила оптимизации: pushdown, pruning, constant folding.
Ключевые темы: Catalyst, AQE, predicate pushdown, column pruning, physical plan.
Все темы в разделе «Тема 3. Оптимизация и Catalyst»
Обновлено:
Полный разбор темы «AQE: Adaptive Query Execution в деталях» — в Pro
В Pro-подписке по этому конспекту получите:
- Формулы с пошаговым разбором (LaTeX)
- Примеры Python-кода с выводом и комментариями
- Интерактивные визуализации для понимания теории
- Частые вопросы с реальных собеседований по теме «Тема 3. Оптимизация и Catalyst»
- Чеклист: что точно спросят на собесе аналитика
Открыть все 390+ конспектов →