Lazy evaluation и Catalyst optimizer
PySpark для аналитикаТема 3. Оптимизация и Catalyst
Actions vs transformations. 5 этапов Catalyst. Predicate pushdown, column pruning, partition pruning. AQE runtime-оптимизация.
О разделе «Тема 3. Оптимизация и Catalyst»
Lazy evaluation, Catalyst optimizer, AQE, правила оптимизации: pushdown, pruning, constant folding.
Ключевые темы: Catalyst, AQE, predicate pushdown, column pruning, physical plan.
Все темы в разделе «Тема 3. Оптимизация и Catalyst»
Обновлено:
Полный разбор темы «Lazy evaluation и Catalyst optimizer» — в Pro
В Pro-подписке по этому конспекту получите:
- Формулы с пошаговым разбором (LaTeX)
- Примеры Python-кода с выводом и комментариями
- Интерактивные визуализации для понимания теории
- Частые вопросы с реальных собеседований по теме «Тема 3. Оптимизация и Catalyst»
- Чеклист: что точно спросят на собесе аналитика
Открыть все 390+ конспектов →