Memory management: устройство памяти
PySpark для аналитикаТема 5. Отладка и Spark UI
Reserved / User / Spark (Execution + Storage). On-heap vs off-heap (Tungsten). Driver memory, Python overhead, GC. Как тюнить под симптомы.
О разделе «Тема 5. Отладка и Spark UI»
Как читать Spark UI, находить bottleneck, диагностировать skew, spill, OOM.
Ключевые темы: Spark UI, stages, tasks, executors, OOM, GC overhead.
Все темы в разделе «Тема 5. Отладка и Spark UI»
Обновлено:
Полный разбор темы «Memory management: устройство памяти» — в Pro
В Pro-подписке по этому конспекту получите:
- Формулы с пошаговым разбором (LaTeX)
- Примеры Python-кода с выводом и комментариями
- Интерактивные визуализации для понимания теории
- Частые вопросы с реальных собеседований по теме «Тема 5. Отладка и Spark UI»
- Чеклист: что точно спросят на собесе аналитика
Открыть все 390+ конспектов →