Broadcast Join — когда и зачем

PySpark для аналитикаТема 8. PySpark на практике — must-know паттерны

Самая частая Spark-оптимизация. Shuffle vs broadcast, autoBroadcastJoinThreshold, как форсить через broadcast() hint. Признаки в Spark UI (BroadcastHashJoin vs SortMergeJoin).

О разделе «Тема 8. PySpark на практике — must-know паттерны»

5 главных тем на собесе: broadcast join, data skew (salt trick), partitioning, Spark UI debug, ETL-паттерны. С production-готовыми сниппетами.

Ключевые темы: broadcast join, data skew, salt trick, partitioning, Spark UI, ETL, AQE.

Все темы в разделе «Тема 8. PySpark на практике — must-know паттерны»

Обновлено:

Полный разбор темы «Broadcast Join — когда и зачем» — в Pro

В Pro-подписке по этому конспекту получите:

Открыть все 390+ конспектов →

Другие конспекты в теме «Тема 8. PySpark на практике — must-know паттерны»