dbt для аналитика 2026: первые шаги — models, tests, lineage

dbt (data build tool) — стандарт modern data stack для трансформаций в DWH. Если в 2024 ты писал SQL руками и складывал результаты через cron, в 2026 ты пишешь dbt-модели и получаешь lineage, тесты и документацию бесплатно. Airflow ставит расписание, dbt управляет трансформациями.

Этот гайд — за час дойдёшь от нуля до первой production-модели с тестами и snapshot'ами SCD2. Реальные примеры из аналитики маркетплейса и SaaS.

Что узнаешь

• Чем dbt отличается от Airflow и почему их используют вместе
• Setup dbt Cloud / dbt Core за 30 минут
• Структура проекта: staging → intermediate → marts (Kimball)
• Incremental models — обработка только новых данных
• Tests, snapshots, sources, ref — главные концепции
• Lineage graph — визуализация зависимостей

Шаг 1: Что такое dbt и зачем он аналитику

dbt — фреймворк трансформаций "T в ELT". Сырые данные уже в Snowflake/BigQuery/ClickHouse (E+L загрузил Fivetran/Airbyte). dbt отвечает за T — превращение raw → marts.

Источники → Fivetran (EL) → DWH raw schema
 ↓
 dbt (T) — твоя зона ответственности
 ↓
 Marts → BI / ML / эксперименты

Vs Airflow: Airflow оркестрирует расписание (запусти dbt job в 6:00). dbt управляет SQL-логикой (что и в каком порядке). Они не конкуренты, а дополняют друг друга.

Vs голый SQL: dbt даёт версионирование (Git), тесты, документацию, lineage. SQL в Confluence-страничках = головная боль через 6 месяцев. dbt-проект через 6 месяцев — всё ещё понятный код с тестами.

См. подборку 10 dbt-вопросов с реальных собесов — там паттерны incremental, snapshots, macros.

Шаг 2: Setup за 30 минут

Вариант A — dbt Cloud (управляемая SaaS):

• Регистрация на https://cloud.getdbt.com (free tier: 1 разработчик)
• Подключи DWH (Snowflake/BigQuery/Redshift/Postgres)
• Github connect для версионирования
• Готово — IDE в браузере, schedule, observability

Вариант B — dbt Core (self-hosted):

python -m venv.venv && source.venv/bin/activate
pip install dbt-core dbt-postgres # или dbt-snowflake, dbt-bigquery
dbt init my_analytics
cd my_analytics

Настрой ~/.dbt/profiles.yml:

my_analytics:
 target: dev
 outputs:
 dev:
 type: postgres
 host: localhost
 user: analytics
 password: secret
 port: 5432
 dbname: analytics
 schema: dbt_alice
 threads: 4

Проверь подключение:

dbt debug # должно быть All checks passed!
dbt run # запустит example-модели

Шаг 3: Структура проекта Kimball-стиль

Стандартный layout, который масштабируется до 500+ моделей:

models/
├── staging/ # 1:1 копии из raw с базовой очисткой
│ ├── stripe/
│ │ ├── stg_stripe__charges.sql
│ │ └── stg_stripe__customers.sql
│ └── app/
│ ├── stg_app__events.sql
│ └── stg_app__users.sql
├── intermediate/ # промежуточные joins, нет business-логики
│ └── int_orders_with_customer.sql
├── marts/ # финальные бизнес-таблицы
│ ├── finance/
│ │ └── fct_daily_revenue.sql
│ └── product/
│ ├── dim_users.sql
│ └── fct_engagement.sql
└── sources.yml # описание raw таблиц

Naming convention:

• stg___ — staging
  int_ — intermediate
  fct_ — facts (события, транзакции)
  dim_ — dimensions (users, products)

  Шаг 4: Первая модель + sources

  Опиши raw в models/staging/app/sources.yml:

  version: 2
  sources:
   - name: app
   database: raw
   schema: prod
   tables:
   - name: events
   loaded_at_field: ingested_at
   freshness:
   warn_after: {count: 6, period: hour}
   error_after: {count: 24, period: hour}
   - name: users

  Теперь models/staging/app/stg_app__events.sql:

  {{ config(materialized='view') }}
  
  select
   event_id,
   user_id,
   event_type,
   event_time,
   properties->>'platform' as platform,
   properties->>'utm_source' as utm_source
  from {{ source('app', 'events') }}
  where event_time is not null

  Финальная mart models/marts/product/fct_daily_active_users.sql:

  {{ config(materialized='table') }}
  
  select
   date_trunc('day', event_time) as day,
   count(distinct user_id) as dau,
   count(distinct case when platform = 'ios' then user_id end) as dau_ios,
   count(distinct case when platform = 'android' then user_id end) as dau_android
  from {{ ref('stg_app__events') }}
  group by 1

  Запусти:

  dbt run --select fct_daily_active_users

  Готово. dbt автоматически выполнил staging → mart в правильном порядке благодаря {{ ref() }}.

  Шаг 5: Incremental models — обработка только новых данных

  Если events растёт на 10M строк/день, full-refresh каждый раз — расточительство. Сделай incremental:

  {{ config(
   materialized='incremental',
   unique_key='event_id',
   incremental_strategy='merge'
  ) }}
  
  select
   event_id,
   user_id,
   event_type,
   event_time
  from {{ source('app', 'events') }}
  
  {% if is_incremental() %}
   where event_time > (select coalesce(max(event_time), '2020-01-01') from {{ this }})
  {% endif %}

  Первый run — full scan. Последующие — только новые строки + upsert по unique_key. Это idempotent — повторный запуск не дублирует данные.

  dbt run --select fct_events # инкремент
  dbt run --select fct_events --full-refresh # пересборка

  Шаг 6: Tests — защита от bad data

  В models/marts/product/_marts__models.yml:

  version: 2
  models:
   - name: fct_daily_active_users
   columns:
   - name: day
   tests:
   - not_null
   - unique
   - name: dau
   tests:
   - not_null
   - dbt_utils.expression_is_true:
   expression: ">= 0"

  dbt test --select fct_daily_active_users
  # 4/4 tests passed!

  Дополнительно установи dbt-utils — пакет с 60+ тестами и макросами:

  # packages.yml
  packages:
   - package: dbt-labs/dbt_utils
   version: 1.1.1

  dbt deps

  Шаг 7: Snapshots — SCD Type 2 за 5 минут

  Допустим, у users меняется subscription_tier со временем. Хочешь историю — нужен SCD2.

  В snapshots/users_snapshot.sql:

  {% snapshot users_snapshot %}
  {{ config(
   target_schema='snapshots',
   unique_key='id',
   strategy='check',
   check_cols=['email', 'subscription_tier', 'country']
  ) }}
  
  select * from {{ source('app', 'users') }}
  
  {% endsnapshot %}

  dbt snapshot

  dbt сам добавит колонки dbt_valid_from, dbt_valid_to, dbt_scd_id. История изменений готова.

  Query «какой tier был у юзера на момент покупки»:

  select o.order_id, u.subscription_tier
  from {{ ref('orders') }} o
  join {{ ref('users_snapshot') }} u
   on o.user_id = u.id
   and o.order_time between u.dbt_valid_from and coalesce(u.dbt_valid_to, '9999-12-31')

  Шаг 8: Lineage + docs

  dbt docs generate
  dbt docs serve # localhost:8080

  Получаешь интерактивный граф зависимостей. Когда команда менеджит 200+ моделей, lineage спасает от «случайно сломали 50 дашбордов».

  FAQ

  Что лучше: dbt Core или dbt Cloud?

  Cloud — если команда <10 человек и не хочется DevOps. Core — если нужна интеграция с Airflow, GitLab CI, кастомные runtimes.

  dbt заменяет Airflow?

  Нет. dbt — трансформации. Airflow — оркестрация (запусти dbt в 6:00, потом отчёт в Slack). В зрелом стэке оба.

  Сколько времени учить dbt?

  Базовый level (модели, ref, sources, tests) — 1 неделя. Advanced (macros, packages, custom tests) — месяц. Senior (incrementals, snapshots, CI/CD) — 3 месяца.

  Можно dbt с ClickHouse?

  Да, есть dbt-clickhouse от ClickHouse Inc. Полная поддержка с 1.4.

  Когда incremental vs table?

  Table — маленькие dimension (<10M строк), часто refresh. Incremental — большие facts (events, logs), 95%+ insert-only.

  Snapshots vs incremental?

  Snapshots — для dimension с slowly-changing атрибутами (SCD2). Incremental — для fact-таблиц где append-only.

  Что дальше

  • 🎯 SQL-тренажёр — 480+ задач для уверенного SQL под dbt-модели
  • 🧠 3000+ вопросов с собесов — 10+ про dbt, snapshots, incremental
  • 📚 ClickHouse практический гайд — DWH-движок под dbt-нагрузку
  • 🏗 Airflow DAG patterns — оркестрация dbt-задач
  • 📖 Apache Iceberg lakehouse гайд — современное хранилище под dbt
  • 💼 Roadmap аналитика данных

  Источники

  • docs.getdbt.com — официальная документация
  • dbt-labs Slack community — 50k+ участников
  • discourse.getdbt.com — паттерны и обсуждения

  dbt окупается на 3-й неделе использования. Open the SQL-тренажёр — без уверенного SQL dbt не взлетит.

  Прокачай SQL для dbt-моделей

  480+ SQL-задач, 3000+ вопросов с собесов, AI-разбор. Бесплатный старт.

  Открыть тренажёр →

  Похожие статьи

  • dbt macros: 8 паттернов, которые экономят часы рутины 2026-06-02 · 11 мин
  • ClickHouse: гайд по ENGINE, ARRAY JOIN, materialized views 2026-05-30 · 14 мин
  • dbt для аналитика: первые шаги в 2026 2026-04-25 · 13 мин
  • 10 ошибок на собеседовании аналитика данных 2026-07-15 · 10 мин
  • Тестовое задание аналитика: 4 задачи с решением на SQL 2026-07-10 · 14 мин
  • JSON и JSONB в PostgreSQL: гайд для аналитика 2026-07-06 · 13 мин
  ×

  Пора от теории к практике

  Решай задачи прямо в браузере с проверкой кода. 5 задач бесплатно, без регистрации.

  Открыть тренажёр →