UDFs vs Pandas UDF: когда что

PySpark для аналитикаТема 2. Форматы данных и запросы

Plain UDF в 100× медленнее. Pandas UDF (Arrow + векторизация). 4 типа: scalar, aggregate, iterator, applyInPandas.

О разделе «Тема 2. Форматы данных и запросы»

Parquet, Delta Lake, партиционирование. Joins, broadcast, оптимизация запросов.

Ключевые темы: Parquet, Delta Lake, Iceberg, broadcast join, sort-merge, partition pruning.

Обновлено: 2026-07-22

В Pro-подписке по этому конспекту получите:

Формулы с пошаговым разбором (LaTeX)
Примеры Python-кода с выводом и комментариями
Интерактивные визуализации для понимания теории
Частые вопросы с реальных собеседований по теме «Тема 2. Форматы данных и запросы»
Чеклист: что точно спросят на собесе аналитика