Question 1

astronomer-cosmosを使ってdbtをAirflowに統合する主な利点は何ですか?

Accepted Answer

Astronomer-cosmosはdbtのmodelを自動的に個別のAirflowタスクに変換し、Airflow UIで各modelに対する細かい可視性を提供します。これにより、dbtプロジェクト全体ではなく、各modelレベルでAirflowの機能(リトライ、アラート、モニタリング)を活用できます。

Question 2

cosmosはAirflow DAG内のdbt model間の依存関係をどのように扱いますか?

Accepted Answer

Cosmosはdbtのmanifest.jsonを解析してmodel間の依存関係グラフを抽出します。次に、対応するAirflowタスク間の依存関係(upstream/downstream)を自動的に作成し、dbtプロジェクトのrefsで定義された実行順序を尊重します。

Question 3

cosmosの'local'モードと'docker'モードの実行の違いは何ですか?

Accepted Answer

ローカルモードでは、cosmosはAirflowワーカーのPython環境で直接dbtを実行するため、dbtのインストールが必要です。dockerモードでは、各dbtタスクは独自のdbtイメージを持つ独立したDockerコンテナで実行され、より良い分離性と依存関係の再現性を提供します。

Airflow + dbt - パイプラインオーケストレーション

astronomer-cosmosを使ってdbtをAirflowに統合する主な利点は何ですか?

回答

cosmosはAirflow DAG内のdbt model間の依存関係をどのように扱いますか?

回答

cosmosの'local'モードと'docker'モードの実行の違いは何ですか?

回答

タグに基づいてdbt modelのサブセットのみを実行するようにcosmosを構成するにはどうすればよいですか?

cosmosを使用したAirflow-dbt統合におけるDbtTaskGroupの役割は何ですか?

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Apache Airflow - 上級

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター