Cache, persist и unpersist
PySpark для аналитикаТема 3. Оптимизация и Catalyst
Storage levels, когда кэшировать, cache vs checkpoint, главные ловушки и анти-паттерны.
О разделе «Тема 3. Оптимизация и Catalyst»
Lazy evaluation, Catalyst optimizer, AQE, правила оптимизации: pushdown, pruning, constant folding.
Ключевые темы: Catalyst, AQE, predicate pushdown, column pruning, physical plan.
Все темы в разделе «Тема 3. Оптимизация и Catalyst»
Обновлено:
Полный разбор темы «Cache, persist и unpersist» — в Pro
В Pro-подписке по этому конспекту получите:
- Формулы с пошаговым разбором (LaTeX)
- Примеры Python-кода с выводом и комментариями
- Интерактивные визуализации для понимания теории
- Частые вопросы с реальных собеседований по теме «Тема 3. Оптимизация и Catalyst»
- Чеклист: что точно спросят на собесе аналитика
Открыть все 390+ конспектов →