Задача: настроить data validation на 1M строк ежедневно загружаемых из Kafka. Какие основные сущности Great Expectations нужно использовать (Expectation, Suite, Batch, Validation, Checkpoint)? Покажи минимальный пример pipeline.

Вопрос с собеседования аналитика по теме «Data Quality».

Разбор ответа

Получить доступ к ответам — все вопросы →

Что дальше

• Раздел практики →
• Все 3000+ вопросов с разбором →

Похожие вопросы из категории «Data Quality»

• Задача: Great Expectations поддерживает сотни expectations. Перечисли 10 наиболее часто используемых в production и объясни когда каждое применять.
• Задача: GE Data Docs автоматически генерирует HTML-отчёты после каждого validation. Как настроить deploy этих доков в S3 для команды и интегрировать с Slack-нотификациями при failures?
• Задача: GE Profiler анализирует существующий датасет и автоматически генерирует expectation suite. Когда это полезно vs ручное создание? Какие expectations Profiler ловит, а какие нет?
• Задача: что такое Batch и Batch Request в Great Expectations? Покажи как validate один файл (single batch) vs целый partition (multi-batch) vs streaming через Kafka.
• Задача: в dbt есть 4 generic tests из коробки: unique, not_null, accepted_values, relationships. Покажи как использовать каждый в schema.yml для модели dim_users. Какие edge-case подводные?
• Задача: написать custom singular test в dbt — проверка что в fact_orders за сегодня нет дублей по (user_id, product_id, created_at округлённому до часа). Покажи структуру файла и как зарегистрировать.
• Задача: что такое dbt-utils и dbt-expectations пакеты? Покажи 5 самых полезных тестов из каждого и зачем они нужны.
• Задача: dbt sources позволяют задать freshness check. Настрой freshness для source app.users: warn если данные старше 6 часов, error если старше 12. Что такое loaded_at_field и какие подводные с timezones?

SQL-задачи по теме

• Data quality check: orphan users

Полезные блог-статьи по теме

• Tableau vs Power BI vs DataLens vs Superset 2026
• dbt Tests: generic + custom + dbt-utils (полный гайд с примерами)
• Аналитик данных vs Data Scientist 2026: что выбрать и сколько платят
• Yandex DataLens пошагово 2026: первый дашборд за 30 минут