Data Skew — диагностика и лечение

PySpark для аналитикаТема 8. PySpark на практике — must-know паттерны

«Job висит на 90% уже 30 минут» — почти всегда skew. 4 лечения: фильтр null/bots, salt trick (с N=10 примером кода), AQE skewJoin, broadcast.

О разделе «Тема 8. PySpark на практике — must-know паттерны»

5 главных тем на собесе: broadcast join, data skew (salt trick), partitioning, Spark UI debug, ETL-паттерны. С production-готовыми сниппетами.

Ключевые темы: broadcast join, data skew, salt trick, partitioning, Spark UI, ETL, AQE.

Обновлено: 2026-07-22

В Pro-подписке по этому конспекту получите:

Формулы с пошаговым разбором (LaTeX)
Примеры Python-кода с выводом и комментариями
Интерактивные визуализации для понимания теории
Частые вопросы с реальных собеседований по теме «Тема 8. PySpark на практике — must-know паттерны»
Чеклист: что точно спросят на собесе аналитика