# Airflow + dbt - การจัดการ Pipeline (Data Engineering)

> astronomer-cosmos, DbtDagParser, dbt run/test ใน Airflow, การจัดการ dependencies, การตรวจสอบแบบ end-to-end

- 20 คำถามสัมภาษณ์
- Senior
- [คำถามสัมภาษณ์: Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions.md)

## 1. ข้อดีหลักของการใช้ astronomer-cosmos เพื่อรวม dbt เข้ากับ Airflow คืออะไร?

**คำตอบ**

Astronomer-cosmos จะแปลง model ของ dbt เป็น task ของ Airflow แต่ละตัวโดยอัตโนมัติ ทำให้สามารถมองเห็นรายละเอียดของแต่ละ model ใน UI ของ Airflow ได้ ซึ่งช่วยให้ใช้ประโยชน์จากคุณสมบัติของ Airflow (retry, alerting, monitoring) ในระดับ model แทนที่จะเป็นทั้งโปรเจกต์ dbt

## 2. cosmos จัดการกับ dependencies ระหว่าง model ของ dbt ใน DAG Airflow อย่างไร?

**คำตอบ**

Cosmos วิเคราะห์ manifest.json ของ dbt เพื่อดึงกราฟ dependencies ระหว่าง model จากนั้นจะสร้างความสัมพันธ์แบบ dependencies (upstream/downstream) ระหว่าง task Airflow ที่เกี่ยวข้องโดยอัตโนมัติ ซึ่งสอดคล้องกับลำดับการรันที่กำหนดโดย refs ในโปรเจกต์ dbt

## 3. ความแตกต่างระหว่างโหมดการรัน 'local' และ 'docker' ใน cosmos คืออะไร?

**คำตอบ**

ในโหมด local, cosmos จะรัน dbt โดยตรงในสภาพแวดล้อม Python ของ worker Airflow ซึ่งต้องติดตั้ง dbt ในโหมด docker, แต่ละ task ของ dbt จะรันใน Docker container ที่แยกต่างหากด้วย image dbt ของตัวเอง ซึ่งให้การแยกตัวและความสามารถในการสร้างซ้ำของ dependencies ที่ดีขึ้น

## มีอีก 17 คำถาม

- วิธีการกำหนดค่า cosmos ให้รันเฉพาะชุดย่อยของ model dbt ตาม tags อย่างไร?
- บทบาทของ DbtTaskGroup ในการรวม Airflow-dbt กับ cosmos คืออะไร?

สมัครฟรี: https://sharpskill.dev/th/login

## หัวข้อสัมภาษณ์ Data Engineering อื่นๆ

- [Linux & Shell - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/linux-shell-basics.md): 20 คำถาม, Junior
- [Git & GitHub - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/git-github-fundamentals.md): 20 คำถาม, Junior
- [Python ขั้นสูงสำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/python-advanced-de.md): 25 คำถาม, Junior
- [Docker - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/docker-fundamentals.md): 25 คำถาม, Junior
- [Google Cloud Platform - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/gcp-fundamentals.md): 20 คำถาม, Junior
- [CI/CD และคุณภาพโค้ด](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/ci-cd-code-quality.md): 20 คำถาม, Mid-Level
- [Docker Compose](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/docker-compose.md): 20 คำถาม, Mid-Level
- [FastAPI - Data API](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/fastapi.md): 20 คำถาม, Mid-Level
- [SQL ขั้นสูงสำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/sql-advanced-de.md): 20 คำถาม, Mid-Level
- [Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-lake.md): 20 คำถาม, Mid-Level
- [BigQuery สำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/bigquery-de.md): 20 คำถาม, Mid-Level
- [PostgreSQL - การดูแลระบบ](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/postgresql-admin.md): 20 คำถาม, Mid-Level
- [Data Modeling สำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-modeling-de.md): 20 คำถาม, Mid-Level
- [Fivetran & Airbyte - การนำเข้าข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/fivetran-airbyte.md): 20 คำถาม, Mid-Level
- [dbt - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/dbt-fundamentals-de.md): 20 คำถาม, Mid-Level
- [Apache Airflow - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-fundamentals.md): 20 คำถาม, Mid-Level
- [Kubernetes - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/kubernetes-fundamentals.md): 20 คำถาม, Mid-Level
- [dbt - ฟีเจอร์ขั้นสูง](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/dbt-advanced-de.md): 20 คำถาม, Senior
- [รูปแบบ ETL / ELT / ETLT](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/etl-elt-patterns.md): 20 คำถาม, Senior
- [Apache Airflow - ขั้นสูง](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-advanced.md): 20 คำถาม, Senior
- [PySpark - การประมวลผลขนาดใหญ่](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/pyspark.md): 20 คำถาม, Senior
- [Google Pub/Sub - การสตรีมข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/pubsub-streaming.md): 20 คำถาม, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/apache-beam-dataflow.md): 20 คำถาม, Senior
- [Kubernetes - Production และ Scaling](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/kubernetes-advanced.md): 20 คำถาม, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/terraform.md): 20 คำถาม, Senior
- [ฐานข้อมูล NoSQL](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/nosql-databases.md): 20 คำถาม, Senior
- [Data Architecture สมัยใหม่](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-architecture.md): 20 คำถาม, Senior
- [การมอนิเตอร์และการสังเกตการณ์](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/monitoring-observability.md): 20 คำถาม, Senior
- [IAM และความปลอดภัยของข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/iam-security-de.md): 20 คำถาม, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-dbt-integration