Question 1

데이터 파이프라인의 맥락에서 구조화된 로깅이란 무엇입니까?

Accepted Answer

구조화된 로깅이란 자유 텍스트가 아닌 파싱 가능한 형식(JSON, key-value)으로 로그를 내보내는 것을 의미합니다. 이를 통해 Cloud Logging, Elasticsearch 또는 Datadog과 같은 도구에서 로그를 쉽게 필터링, 검색 및 집계할 수 있습니다. 데이터 파이프라인에서는 DAG, task_id, run_id 또는 비즈니스 컨텍스트로 필터링할 수 있어 디버깅이 크게 용이해집니다.

Question 2

SLI(Service Level Indicator)와 SLO(Service Level Objective)의 차이점은 무엇입니까?

Accepted Answer

SLI는 서비스 품질의 측면(예: 작업 성공률, 파이프라인 지연 시간)을 정량화하는 측정 가능한 메트릭입니다. SLO는 해당 메트릭에 정의된 목표(예: 작업의 99.5%가 성공해야 함)입니다. SLA는 내부 SLO를 기반으로 한 고객에 대한 계약상 약속입니다. 이 계층 구조를 통해 객관적인 신뢰성 모니터링과 SLA 위반 전 알림을 트리거할 수 있습니다.

Question 3

Great Expectations에서 Expectation이란 무엇입니까?

Accepted Answer

Expectation은 expect_column_values_to_not_be_null 또는 expect_column_values_to_be_between과 같은 데이터에 대한 선언적 어설션입니다. Great Expectations는 자동으로 문서와 실행 가능한 검증 결과를 생성합니다. 이러한 Expectation들은 데이터셋의 완전한 품질 계약을 정의하는 Suite로 그룹화됩니다.

모니터링 및 관찰 가능성

데이터 파이프라인의 맥락에서 구조화된 로깅이란 무엇입니까?

답변

SLI(Service Level Indicator)와 SLO(Service Level Objective)의 차이점은 무엇입니까?

답변

Great Expectations에서 Expectation이란 무엇입니까?

답변

데이터 파이프라인에서 Soda의 주요 역할은 무엇입니까?

데이터 인시던트 관리 맥락에서 runbook이란 무엇입니까?

기타 Data Engineering 면접 주제

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

Fivetran & Airbyte - 데이터 수집

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Apache Airflow - 고급

Airflow + dbt - 파이프라인 오케스트레이션

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모던 Data Architecture

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요