Python для анализа данных — pandas, numpy, scipy 530+ задач

Pandas — что спрашивают на собесах

groupby + agg — главная тема. Также merge / join (left/right/outer/inner с дубликатами), pivot vs pivot_table vs melt, MultiIndex, transform vs apply (apply медленнее в 100×).

• groupby + agg, groupby + transform, groupby + filter — must know
• merge с suffixes, indicator, on/left_on/right_on
• pivot vs pivot_table (pivot_table имеет aggfunc)
• MultiIndex (создание, селект, reset_index, swaplevel)
• Resample для time series (резка по периоду)
• Rolling window (rolling.mean, rolling.apply)
• chunksize для больших файлов (read_csv chunked)

Топ-10 pandas-трюков (memory + dtypes)

Эти трюки экономят 50-90% памяти и ускоряют операции в 10-100×. На senior-собесе обязательны.

• astype("category") для строковых колонок с малой кардинальностью — экономия 80%+ памяти
• dtype="int8" / "float32" если знаешь диапазон — экономия 50-75%
• parse_dates в read_csv вместо postprocess pd.to_datetime
• usecols в read_csv — читать только нужные колонки
• chunksize для files > 10GB — обрабатывать частями
• pd.eval / df.eval для тяжёлых формул — векторизация
• merge на indexed columns (set_index, then merge) — быстрее на больших
• .values вместо .iterrows() — 100× быстрее
• categorical для groupby keys — ускорение в 5-10×
• pyarrow backend (pd.options.mode.string_storage = "pyarrow")

NumPy — must know

Векторизация — главная фишка numpy. Python-loop работает 100-1000× медленнее. Broadcasting позволяет операции на массивах разной формы.

import numpy as np

# Python loop (медленный)
result = []
for x in range(1000000):
    result.append(x * 2)

# NumPy vectorization (1000× быстрее)
arr = np.arange(1000000)
result = arr * 2

# Broadcasting: операция на массивах разной формы
a = np.array([1, 2, 3])
b = np.array([[10], [20], [30]])
c = a + b  # shape (3,3), broadcasting автоматический

# np.where — условная замена
arr = np.where(arr > 500000, arr, 0)

SciPy stats — для A/B-тестов

scipy.stats — стандарт для A/B-тестов на Python. На собесе спросят: «какой тест применишь для пропорций?».

Sklearn — базовый ML для аналитика

Sklearn — стандарт для классического ML. Аналитику нужны: train_test_split, cross_val_score, базовые модели (LogReg, RandomForest), feature engineering, classification metrics.

• train_test_split + cross_val_score (k-fold)
• sklearn.preprocessing — StandardScaler, OneHotEncoder, TargetEncoder
• feature_importances для tree-based моделей
• classification_report — precision/recall/F1
• ROC-AUC vs PR-AUC (для imbalanced данных)
• GridSearchCV + RandomizedSearchCV — hyperparameter tuning
• sklearn.metrics — все стандартные метрики

Векторизация — 5 паттернов

Базовый принцип: «если ты пишешь for-loop по DataFrame — ты делаешь медленно». 5 главных альтернатив.

• Арифметика на колонках: df["c"] = df["a"] + df["b"]
• np.where для условной замены: np.where(df["a"] > 5, df["b"], 0)
• groupby + transform для broadcast агрегата обратно
• .apply с axis=1 — fallback, медленнее но всё-таки векторизация
• numba @jit для тяжёлых функций — JIT-компиляция

Visualization Stack — что выбрать

matplotlib — стандарт, низкоуровневый. seaborn — высокоуровневая обёртка над matplotlib для стат-графиков. plotly — интерактивные графики (zoom, hover). altair — декларативный (для дашбордов).

Jupyter best practices

На собесе спросят как ты организуешь работу в Jupyter. Хороший аналитик умеет писать notebook так, чтобы коллега мог его открыть и понять за 5 минут.

• %matplotlib inline в начале — графики прямо в notebook
• Чёткая структура: 1. Imports 2. Load data 3. EDA 4. Analysis 5. Conclusions
• Markdown cells между секциями — объясни что делаешь и зачем
• Не оставляй незаконченных эксперимент-ячеек — удали или комментируй
• JupyterLab вместо Notebook (variable inspector, file browser, dark theme)
• nbstripout перед коммитом в Git — убирает output из .ipynb
• Не храни секреты в notebook — используй .env через python-dotenv