Airflow + dbt - Pipeline Orkestrasyonu
astronomer-cosmos, DbtDagParser, Airflow'da dbt run/test, bağımlılık yönetimi, uçtan uca izleme
1dbt'yi Airflow'a entegre etmek için astronomer-cosmos kullanmanın temel avantajı nedir?
dbt'yi Airflow'a entegre etmek için astronomer-cosmos kullanmanın temel avantajı nedir?
Cevap
Astronomer-cosmos, dbt modellerini otomatik olarak ayrı Airflow görevlerine dönüştürerek Airflow arayüzünde her model için ayrıntılı görünürlük sağlar. Bu, Airflow özelliklerinden (retry, alerting, monitoring) tüm dbt projesi yerine model düzeyinde yararlanmayı mümkün kılar.
2cosmos, bir Airflow DAG'ında dbt modelleri arasındaki bağımlılıkları nasıl yönetir?
cosmos, bir Airflow DAG'ında dbt modelleri arasındaki bağımlılıkları nasıl yönetir?
Cevap
Cosmos, modeller arasındaki bağımlılık grafiğini çıkarmak için dbt'nin manifest.json'unu analiz eder. Ardından ilgili Airflow görevleri arasında bağımlılık ilişkilerini (upstream/downstream) otomatik olarak oluşturarak dbt projesindeki refs tarafından tanımlanan yürütme sırasına uyar.
3cosmos'taki 'local' ve 'docker' yürütme modları arasındaki fark nedir?
cosmos'taki 'local' ve 'docker' yürütme modları arasındaki fark nedir?
Cevap
Local modunda, cosmos dbt'yi doğrudan Airflow worker'ın Python ortamında çalıştırır, bu da dbt'nin yüklü olmasını gerektirir. Docker modunda, her dbt görevi kendi dbt imajına sahip izole bir Docker konteynerinde çalışır ve daha iyi izolasyon ve bağımlılık tekrarlanabilirliği sağlar.
cosmos'u etiketlere dayalı olarak yalnızca dbt modellerinin bir alt kümesini çalıştıracak şekilde nasıl yapılandırırsınız?
cosmos ile Airflow-dbt entegrasyonunda DbtTaskGroup'un rolü nedir?
+17 mülakat soruları
Diğer Data Engineering mülakat konuları
Linux & Shell - Temeller
Git & GitHub - Temeller
Data Engineering için ileri düzey Python
Docker - Temeller
Google Cloud Platform - Temeller
CI/CD ve Kod Kalitesi
Docker Compose
FastAPI - Veri API'leri
Data Engineering için İleri Seviye SQL
Data Lake - Mimari ve Veri Alımı
Data Engineering için BigQuery
PostgreSQL - Yönetim
Data Engineering için Data Modeling
Fivetran & Airbyte - Veri Alımı
dbt - Temeller
Apache Airflow - Temeller
Kubernetes - Temeller
dbt - Gelişmiş özellikler
ETL / ELT / ETLT Desenleri
Apache Airflow - İleri Seviye
PySpark - Büyük Ölçekli İşleme
Google Pub/Sub - Veri Streaming
Apache Beam & Dataflow
Kubernetes - Üretim ve Ölçeklendirme
Terraform - Infrastructure as Code
NoSQL Veritabanları
Modern Data Architecture
İzleme ve Gözlemlenebilirlik
IAM ve Veri Güvenliği
Bir sonraki mülakatın için Data Engineering'de uzmanlaş
Tüm sorulara, flashcards'a, teknik testlere, code review alıştırmalarına ve mülakat simülatörlerine eriş.
Ücretsiz başla