Partitioning — repartition vs coalesce

PySpark для аналитикаТема 8. PySpark на практике — must-know паттерны

In-memory partition vs filesystem partition. Сравнительная таблица repartition (full shuffle) vs coalesce (no shuffle). partitionBy для FS-pruning. Сколько партиций оптимально по объёму.

О разделе «Тема 8. PySpark на практике — must-know паттерны»

5 главных тем на собесе: broadcast join, data skew (salt trick), partitioning, Spark UI debug, ETL-паттерны. С production-готовыми сниппетами.

Ключевые темы: broadcast join, data skew, salt trick, partitioning, Spark UI, ETL, AQE.

Все темы в разделе «Тема 8. PySpark на практике — must-know паттерны»

Обновлено:

Полный разбор темы «Partitioning — repartition vs coalesce» — в Pro

В Pro-подписке по этому конспекту получите:

Открыть все 390+ конспектов →

Другие конспекты в теме «Тема 8. PySpark на практике — must-know паттерны»