Question 1

Apache Airflow에서 Sensor의 주요 역할은 무엇입니까?

Accepted Answer

Sensor는 DAG 실행을 계속하기 전에 조건이 충족될 때까지 기다리는 특수 오퍼레이터입니다. 파일 도착, 파티션 가용성 또는 다른 작업의 상태와 같은 조건이 충족되었는지 주기적으로 확인(poke)합니다. Sensor는 외부 이벤트에 의존하는 워크플로우를 오케스트레이션하는 데 필수적입니다.

Question 2

Sensor의 'poke' 모드와 'reschedule' 모드의 차이점은 무엇입니까?

Accepted Answer

poke 모드에서 Sensor는 worker slot을 지속적으로 점유하고 정기적인 간격(poke_interval)으로 조건을 확인합니다. reschedule 모드에서는 Sensor가 각 확인 사이에 worker slot을 해제하고 자체적으로 재예약합니다. reschedule 모드는 시간이 오래 걸리는 조건에 권장되며 다른 작업을 위해 리소스를 확보합니다.

Question 3

Hive 파티션이 사용 가능해질 때까지 기다리기 위해 어떤 Sensor를 사용해야 합니까?

Accepted Answer

HivePartitionSensor는 Hive 테이블의 특정 파티션 존재 여부를 확인합니다. 변환을 실행하기 전에 소스 데이터가 사용 가능한지 확인하기 위해 데이터 파이프라인에서 일반적으로 사용됩니다. schema, table, partition과 같은 매개변수를 받습니다.

Apache Airflow - 고급

Apache Airflow에서 Sensor의 주요 역할은 무엇입니까?

답변

Sensor의 'poke' 모드와 'reschedule' 모드의 차이점은 무엇입니까?

답변

Hive 파티션이 사용 가능해질 때까지 기다리기 위해 어떤 Sensor를 사용해야 합니까?

답변

두 개의 Airflow 작업 간에 데이터를 전달하는 방법은?

XCom에 저장되는 데이터의 권장 최대 크기는 얼마입니까?

기타 Data Engineering 면접 주제

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

Fivetran & Airbyte - 데이터 수집

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Airflow + dbt - 파이프라인 오케스트레이션

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모던 Data Architecture

모니터링 및 관찰 가능성

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요