Question 1

astronomer-cosmos를 사용하여 dbt를 Airflow에 통합할 때의 주요 이점은 무엇입니까?

Accepted Answer

Astronomer-cosmos는 dbt model을 자동으로 개별 Airflow 작업으로 변환하여 Airflow UI에서 각 model에 대한 세분화된 가시성을 제공합니다. 이를 통해 전체 dbt 프로젝트가 아닌 model 수준에서 Airflow 기능(재시도, 알림, 모니터링)을 활용할 수 있습니다.

Question 2

cosmos는 Airflow DAG에서 dbt model 간의 의존성을 어떻게 처리합니까?

Accepted Answer

Cosmos는 dbt의 manifest.json을 분석하여 model 간의 의존성 그래프를 추출합니다. 그런 다음 해당 Airflow 작업 간의 의존성 관계(upstream/downstream)를 자동으로 생성하여 dbt 프로젝트의 refs로 정의된 실행 순서를 따릅니다.

Question 3

cosmos의 'local' 및 'docker' 실행 모드의 차이점은 무엇입니까?

Accepted Answer

로컬 모드에서 cosmos는 dbt를 Airflow 워커의 Python 환경에서 직접 실행하므로 dbt 설치가 필요합니다. docker 모드에서는 각 dbt 작업이 자체 dbt 이미지를 가진 격리된 Docker 컨테이너에서 실행되어 더 나은 격리와 의존성 재현성을 제공합니다.

Airflow + dbt - 파이프라인 오케스트레이션

astronomer-cosmos를 사용하여 dbt를 Airflow에 통합할 때의 주요 이점은 무엇입니까?

답변

cosmos는 Airflow DAG에서 dbt model 간의 의존성을 어떻게 처리합니까?

답변

cosmos의 'local' 및 'docker' 실행 모드의 차이점은 무엇입니까?

답변

태그를 기반으로 dbt model의 일부만 실행하도록 cosmos를 구성하는 방법은 무엇입니까?

cosmos를 사용한 Airflow-dbt 통합에서 DbtTaskGroup의 역할은 무엇입니까?

기타 Data Engineering 면접 주제

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

Fivetran & Airbyte - 데이터 수집

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Apache Airflow - 고급

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모던 Data Architecture

모니터링 및 관찰 가능성

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요