3 типа партиционирования (in-memory / на диске / bucketing). repartition vs coalesce. Маленькие файлы и их компакция.
Parquet, Delta Lake, партиционирование. Joins, broadcast, оптимизация запросов.
Ключевые темы: Parquet, Delta Lake, Iceberg, broadcast join, sort-merge, partition pruning.
В Pro-подписке по этому конспекту получите: