Airflow + dbt - Orkestrasi Pipeline
astronomer-cosmos, DbtDagParser, dbt run/test di Airflow, manajemen dependensi, monitoring end-to-end
1Apa keuntungan utama menggunakan astronomer-cosmos untuk mengintegrasikan dbt ke dalam Airflow?
Apa keuntungan utama menggunakan astronomer-cosmos untuk mengintegrasikan dbt ke dalam Airflow?
Jawaban
Astronomer-cosmos secara otomatis mengonversi model dbt menjadi task Airflow individual, memberikan visibilitas granular pada setiap model di UI Airflow. Hal ini memungkinkan pemanfaatan fitur Airflow (retry, alerting, monitoring) di tingkat model alih-alih di seluruh proyek dbt.
2Bagaimana cosmos menangani dependensi antara model dbt dalam DAG Airflow?
Bagaimana cosmos menangani dependensi antara model dbt dalam DAG Airflow?
Jawaban
Cosmos menganalisis manifest.json dbt untuk mengekstrak graf dependensi antar model. Kemudian secara otomatis membuat hubungan dependensi (upstream/downstream) antar task Airflow yang sesuai, sehingga menghormati urutan eksekusi yang didefinisikan oleh refs di proyek dbt.
3Apa perbedaan antara mode eksekusi 'local' dan 'docker' di cosmos?
Apa perbedaan antara mode eksekusi 'local' dan 'docker' di cosmos?
Jawaban
Dalam mode local, cosmos menjalankan dbt langsung di lingkungan Python worker Airflow, mengharuskan dbt terinstal. Dalam mode docker, setiap task dbt berjalan dalam container Docker terisolasi dengan image dbt sendiri, memberikan isolasi dan reproduksibilitas dependensi yang lebih baik.
Bagaimana cara mengkonfigurasi cosmos untuk menjalankan hanya sebagian model dbt berdasarkan tag?
Apa peran DbtTaskGroup dalam integrasi Airflow-dbt dengan cosmos?
+17 pertanyaan wawancara
Topik wawancara Data Engineering lainnya
Linux & Shell - Dasar-dasar
Git & GitHub - Dasar-dasar
Python lanjutan untuk Data Engineering
Docker - Dasar-dasar
Google Cloud Platform - Dasar-Dasar
CI/CD dan Kualitas Kode
Docker Compose
FastAPI - API Data
SQL Lanjutan untuk Data Engineering
Data Lake - Arsitektur dan Ingesti
BigQuery untuk Data Engineering
PostgreSQL - Administrasi
Data Modeling untuk Data Engineering
Fivetran & Airbyte - Ingesti Data
dbt - Dasar
Apache Airflow - Dasar-Dasar
Kubernetes - Dasar-Dasar
dbt - Fitur lanjutan
Pola ETL / ELT / ETLT
Apache Airflow - Lanjutan
PySpark - Pemrosesan Skala Besar
Google Pub/Sub - Streaming Data
Apache Beam & Dataflow
Kubernetes - Produksi dan Penskalaan
Terraform - Infrastructure as Code
Database NoSQL
Data Architecture Modern
Monitoring dan Observability
IAM dan Keamanan Data
Kuasai Data Engineering untuk wawancara berikutnya
Akses semua pertanyaan, flashcards, tes teknis, latihan code review dan simulator wawancara.
Mulai gratis