dbt для аналитика 2026: первые шаги — models, tests, lineage

dbt (data build tool) — стандарт modern data stack для трансформаций в DWH. Если в 2024 ты писал SQL руками и складывал результаты через cron, в 2026 ты пишешь dbt-модели и получаешь lineage, тесты и документацию бесплатно. Airflow ставит расписание, dbt управляет трансформациями.

Этот гайд — за час дойдёшь от нуля до первой production-модели с тестами и snapshot'ами SCD2. Реальные примеры из аналитики маркетплейса и SaaS.

Что узнаешь

• Чем dbt отличается от Airflow и почему их используют вместе
• Setup dbt Cloud / dbt Core за 30 минут
• Структура проекта: staging → intermediate → marts (Kimball)
• Incremental models — обработка только новых данных
• Tests, snapshots, sources, ref — главные концепции
• Lineage graph — визуализация зависимостей

Шаг 1: Что такое dbt и зачем он аналитику

dbt — фреймворк трансформаций "T в ELT". Сырые данные уже в Snowflake/BigQuery/ClickHouse (E+L загрузил Fivetran/Airbyte). dbt отвечает за T — превращение raw → marts.

Источники → Fivetran (EL) → DWH raw schema
                                    ↓
                              dbt (T) — твоя зона ответственности
                                    ↓
                              Marts → BI / ML / эксперименты

Vs Airflow: Airflow оркестрирует расписание (запусти dbt job в 6:00). dbt управляет SQL-логикой (что и в каком порядке). Они не конкуренты, а дополняют друг друга.

Vs голый SQL: dbt даёт версионирование (Git), тесты, документацию, lineage. SQL в Confluence-страничках = головная боль через 6 месяцев. dbt-проект через 6 месяцев — всё ещё понятный код с тестами.

См. подборку 10 dbt-вопросов с реальных собесов — там паттерны incremental, snapshots, macros.

Шаг 2: Setup за 30 минут

Вариант A — dbt Cloud (управляемая SaaS):

• Регистрация на https://cloud.getdbt.com (free tier: 1 разработчик)
• Подключи DWH (Snowflake/BigQuery/Redshift/Postgres)
• Github connect для версионирования
• Готово — IDE в браузере, schedule, observability

Вариант B — dbt Core (self-hosted):

python -m venv .venv && source .venv/bin/activate
pip install dbt-core dbt-postgres   # или dbt-snowflake, dbt-bigquery
dbt init my_analytics
cd my_analytics

Настрой ~/.dbt/profiles.yml:

my_analytics:
  target: dev
  outputs:
    dev:
      type: postgres
      host: localhost
      user: analytics
      password: secret
      port: 5432
      dbname: analytics
      schema: dbt_alice
      threads: 4

Проверь подключение:

dbt debug    # должно быть All checks passed!
dbt run      # запустит example-модели

Шаг 3: Структура проекта Kimball-стиль

Стандартный layout, который масштабируется до 500+ моделей:

models/
├── staging/         # 1:1 копии из raw с базовой очисткой
│   ├── stripe/
│   │   ├── stg_stripe__charges.sql
│   │   └── stg_stripe__customers.sql
│   └── app/
│       ├── stg_app__events.sql
│       └── stg_app__users.sql
├── intermediate/    # промежуточные joins, нет business-логики
│   └── int_orders_with_customer.sql
├── marts/           # финальные бизнес-таблицы
│   ├── finance/
│   │   └── fct_daily_revenue.sql
│   └── product/
│       ├── dim_users.sql
│       └── fct_engagement.sql
└── sources.yml      # описание raw таблиц

Naming convention:

• stg___ — staging
  int_ — intermediate
  fct_ — facts (события, транзакции)
  dim_ — dimensions (users, products)

  Шаг 4: Первая модель + sources

  Опиши raw в models/staging/app/sources.yml:

  version: 2
  sources:
    - name: app
      database: raw
      schema: prod
      tables:
        - name: events
          loaded_at_field: ingested_at
          freshness:
            warn_after: {count: 6, period: hour}
            error_after: {count: 24, period: hour}
        - name: users

  Теперь models/staging/app/stg_app__events.sql:

  {{ config(materialized='view') }}
  
  select
      event_id,
      user_id,
      event_type,
      event_time,
      properties->>'platform' as platform,
      properties->>'utm_source' as utm_source
  from {{ source('app', 'events') }}
  where event_time is not null

  Финальная mart models/marts/product/fct_daily_active_users.sql:

  {{ config(materialized='table') }}
  
  select
      date_trunc('day', event_time) as day,
      count(distinct user_id) as dau,
      count(distinct case when platform = 'ios' then user_id end) as dau_ios,
      count(distinct case when platform = 'android' then user_id end) as dau_android
  from {{ ref('stg_app__events') }}
  group by 1

  Запусти:

  dbt run --select fct_daily_active_users

  Готово. dbt автоматически выполнил staging → mart в правильном порядке благодаря {{ ref() }}.

  Шаг 5: Incremental models — обработка только новых данных

  Если events растёт на 10M строк/день, full-refresh каждый раз — расточительство. Сделай incremental:

  {{ config(
      materialized='incremental',
      unique_key='event_id',
      incremental_strategy='merge'
  ) }}
  
  select
      event_id,
      user_id,
      event_type,
      event_time
  from {{ source('app', 'events') }}
  
  {% if is_incremental() %}
    where event_time > (select coalesce(max(event_time), '2020-01-01') from {{ this }})
  {% endif %}

  Первый run — full scan. Последующие — только новые строки + upsert по unique_key. Это idempotent — повторный запуск не дублирует данные.

  dbt run --select fct_events           # инкремент
  dbt run --select fct_events --full-refresh   # пересборка

  Шаг 6: Tests — защита от bad data

  В models/marts/product/_marts__models.yml:

  version: 2
  models:
    - name: fct_daily_active_users
      columns:
        - name: day
          tests:
            - not_null
            - unique
        - name: dau
          tests:
            - not_null
            - dbt_utils.expression_is_true:
                expression: ">= 0"

  dbt test --select fct_daily_active_users
  # 4/4 tests passed!

  Дополнительно установи dbt-utils — пакет с 60+ тестами и макросами:

  # packages.yml
  packages:
    - package: dbt-labs/dbt_utils
      version: 1.1.1

  dbt deps

  Шаг 7: Snapshots — SCD Type 2 за 5 минут

  Допустим, у users меняется subscription_tier со временем. Хочешь историю — нужен SCD2.

  В snapshots/users_snapshot.sql:

  {% snapshot users_snapshot %}
  {{ config(
      target_schema='snapshots',
      unique_key='id',
      strategy='check',
      check_cols=['email', 'subscription_tier', 'country']
  ) }}
  
  select * from {{ source('app', 'users') }}
  
  {% endsnapshot %}

  dbt snapshot

  dbt сам добавит колонки dbt_valid_from, dbt_valid_to, dbt_scd_id. История изменений готова.

  Query «какой tier был у юзера на момент покупки»:

  select o.order_id, u.subscription_tier
  from {{ ref('orders') }} o
  join {{ ref('users_snapshot') }} u
    on o.user_id = u.id
    and o.order_time between u.dbt_valid_from and coalesce(u.dbt_valid_to, '9999-12-31')

  Шаг 8: Lineage + docs

  dbt docs generate
  dbt docs serve   # localhost:8080

  Получаешь интерактивный граф зависимостей. Когда команда менеджит 200+ моделей, lineage спасает от «случайно сломали 50 дашбордов».

  FAQ

  Что лучше: dbt Core или dbt Cloud?

  Cloud — если команда <10 человек и не хочется DevOps. Core — если нужна интеграция с Airflow, GitLab CI, кастомные runtimes.

  dbt заменяет Airflow?

  Нет. dbt — трансформации. Airflow — оркестрация (запусти dbt в 6:00, потом отчёт в Slack). В зрелом стэке оба.

  Сколько времени учить dbt?

  Базовый level (модели, ref, sources, tests) — 1 неделя. Advanced (macros, packages, custom tests) — месяц. Senior (incrementals, snapshots, CI/CD) — 3 месяца.

  Можно dbt с ClickHouse?

  Да, есть dbt-clickhouse от ClickHouse Inc. Полная поддержка с 1.4.

  Когда incremental vs table?

  Table — маленькие dimension (<10M строк), часто refresh. Incremental — большие facts (events, logs), 95%+ insert-only.

  Snapshots vs incremental?

  Snapshots — для dimension с slowly-changing атрибутами (SCD2). Incremental — для fact-таблиц где append-only.

  Что дальше

  • 🎯 SQL-тренажёр — 480+ задач для уверенного SQL под dbt-модели
  • 🧠 3000+ вопросов с собесов — 10+ про dbt, snapshots, incremental
  • 📚 ClickHouse практический гайд — DWH-движок под dbt-нагрузку
  • 🏗 Airflow DAG patterns — оркестрация dbt-задач
  • 📖 Apache Iceberg lakehouse гайд — современное хранилище под dbt
  • 💼 Roadmap аналитика данных

  Источники

  • docs.getdbt.com — официальная документация
  • dbt-labs Slack community — 50k+ участников
  • discourse.getdbt.com — паттерны и обсуждения

  dbt окупается на 3-й неделе использования. Open the SQL-тренажёр — без уверенного SQL dbt не взлетит.

  Прокачай SQL для dbt-моделей

  480+ SQL-задач, 3000+ вопросов с собесов, AI-разбор. Бесплатный старт.

  Открыть тренажёр →

  Похожие статьи

  • dbt macros: 8 паттернов, которые экономят часы рутины 2026-06-02 · 11 мин
  • ClickHouse 2026: практический гайд по ENGINE, ARRAY JOIN, materialized views 2026-05-30 · 14 мин
  • dbt для аналитика: первые шаги в 2026 2026-04-25 · 13 мин
  • Топ-50 вопросов SQL на собеседовании аналитика данных 2026 2026-06-03 · 18 мин
  • Airflow для аналитика 2026: DAG patterns + best practices 2026-05-30 · 11 мин
  • Оконные функции SQL: полный гайд с примерами 2026-04-21 · 18 мин
  ×

  Пора от теории к практике

  Решай задачи прямо в браузере с проверкой кода. 5 задач бесплатно, без регистрации.

  Открыть тренажёр →