dbt - Розширені можливості
Макроси Jinja, кастомні тести, packages, hooks, snapshots (SCD), incremental models, dbt Cloud, CI/CD
1Яка основна функція макросів Jinja в dbt?
Яка основна функція макросів Jinja в dbt?
Відповідь
Макроси Jinja дозволяють повторно використовувати SQL-код у кількох моделях dbt. Вони працюють як функції, які приймають параметри та повертають динамічно згенерований SQL-код. Це уникає дублювання коду та полегшує підтримку складних перетворень у всьому проєкті.
2Як визначити багаторазовий макрос dbt у файлі?
Як визначити багаторазовий макрос dbt у файлі?
Відповідь
Макрос dbt визначається за допомогою синтаксису Jinja macro/endmacro у файлі .sql у папці macros. Ім'я макроса вказується після ключового слова macro, а параметри — у дужках. Цей макрос потім можна викликати з будь-якої моделі проєкту.
3Яка різниця між стратегіями 'timestamp' і 'check' для dbt snapshots?
Яка різниця між стратегіями 'timestamp' і 'check' для dbt snapshots?
Відповідь
Стратегія timestamp порівнює стовпець дати оновлення (updated_at) для виявлення змін, що є більш продуктивним, оскільки порівнюється лише один стовпець. Стратегія check порівнює значення вказаних стовпців (check_cols) для виявлення будь-яких змін, корисна, коли немає надійного стовпця timestamp.
Які стовпці автоматично додаються dbt під час створення snapshot?
Як налаштувати incremental model зі стратегією 'merge' у dbt?
+17 питань зі співбесід
Інші теми співбесід Data Engineering
Linux & Shell - Основи
Git & GitHub - Основи
Просунутий Python для Data Engineering
Docker - Основи
Google Cloud Platform - Основи
CI/CD та якість коду
Docker Compose
FastAPI - API даних
Просунутий SQL для Data Engineering
Data Lake - Архітектура та завантаження даних
BigQuery для Data Engineering
PostgreSQL - Адміністрування
Data Modeling для Data Engineering
Fivetran & Airbyte - Завантаження даних
dbt - Основи
Apache Airflow - Основи
Kubernetes - Основи
Патерни ETL / ELT / ETLT
Apache Airflow - Просунутий
Airflow + dbt - Оркестрація пайплайнів
PySpark - Великомасштабна обробка
Google Pub/Sub - Стрімінг даних
Apache Beam & Dataflow
Kubernetes - Продакшн та масштабування
Terraform - Infrastructure as Code
Бази даних NoSQL
Сучасна Data Architecture
Моніторинг та спостережуваність
IAM та безпека даних
Опануй Data Engineering для наступної співбесіди
Отримай доступ до всіх питань, flashcards, технічних тестів, вправ code review та симуляторів співбесід.
Почни безкоштовно