Question 1

Apache AirflowにおけるDAGとは何ですか？

Accepted Answer

DAG（Directed Acyclic Graph）は、依存関係とリレーションシップで構成されたタスクのコレクションで、完全なワークフローを表します。非循環的な性質とは、依存関係グラフにループがあってはならないことを意味し、各タスクが実行ごとに正確に1回実行されることを保証します。DAGはタスクをいつどのように実行するかを定義しますが、具体的に何をするかは定義しません。

Question 2

Schedulerが実行のスケジューリングを開始する日付を定義するDAGパラメータはどれですか？

Accepted Answer

start_dateパラメータは、AirflowがDAGの実行のスケジューリングを開始する日付を定義します。この日付はschedule_intervalと組み合わせて使用され、data intervalを決定します。重要な点：start_dateが過去の場合、catchup=Falseが設定されていない限り、Airflowは見逃した実行を取り戻すためにbackfillをトリガーする可能性があります。

Question 3

Airflow DAGでPython関数を実行するにはどのoperatorを使用すべきですか？

Accepted Answer

PythonOperatorを使用すると、Airflow DAGでPython callable関数を実行できます。関数はpython_callableパラメータを介して渡され、op_args（リスト）またはop_kwargs（辞書）を介して引数を受け取ることができます。PythonOperatorは、カスタムPythonコードを実行するための高い柔軟性を提供するため、最も一般的に使用されるoperatorの1つです。

Apache Airflow - 基礎

Apache AirflowにおけるDAGとは何ですか？

回答

Schedulerが実行のスケジューリングを開始する日付を定義するDAGパラメータはどれですか？

回答

Airflow DAGでPython関数を実行するにはどのoperatorを使用すべきですか？

回答

task_bがtask_aの後に実行されるように、2つのタスクtask_aとtask_b間の依存関係を定義する方法は？

毎日深夜0時の実行を表すcron式はどれですか？

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Apache Airflow - 上級

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター