Question 1

Apache AirflowにおけるSensorの主な役割は何ですか？

Accepted Answer

Sensorは、DAG実行を続行する前に条件が満たされるのを待つ特別なオペレーターです。ファイルの到着、パーティションの利用可能性、別のタスクの状態など、条件が満たされているかを定期的に確認（poke）します。Sensorsは外部イベントに依存するワークフローのオーケストレーションに不可欠です。

Question 2

Sensorの'poke'モードと'reschedule'モードの違いは何ですか？

Accepted Answer

pokeモードでは、Sensorはworker slotを継続的に占有し、定期的な間隔（poke_interval）で条件を確認します。rescheduleモードでは、Sensorは各確認の間にworker slotを解放し、自身を再スケジュールします。rescheduleモードは長時間かかる条件に推奨され、他のタスクのためにリソースを解放します。

Question 3

Hiveパーティションが利用可能になるのを待つために、どのSensorを使用すべきですか？

Accepted Answer

HivePartitionSensorは、Hiveテーブル内の特定のパーティションの存在を確認します。データパイプラインで変換を実行する前にソースデータが利用可能であることを確認するために一般的に使用されます。schema、table、partitionなどのパラメーターを受け入れます。

Apache Airflow - 上級

Apache AirflowにおけるSensorの主な役割は何ですか？

回答

Sensorの'poke'モードと'reschedule'モードの違いは何ですか？

回答

Hiveパーティションが利用可能になるのを待つために、どのSensorを使用すべきですか？

回答

2つのAirflowタスク間でデータを渡す方法は？

XComに保存されるデータの推奨最大サイズはどれくらいですか？

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター