Question 1

Data Lake와 Data Warehouse의 근본적인 차이점은 무엇입니까?

Accepted Answer

Data Lake는 데이터를 네이티브(raw) 형식으로 저장하고 읽기 시점에 schema를 적용(schema-on-read)하여 탐색에 큰 유연성을 제공합니다. Data Warehouse는 쓰기 시점에 구조화된 schema를 강제(schema-on-write)하고 분석에 최적화된 변환된 데이터를 보관합니다. Data Lake는 유연성과 저비용 대용량 스토리지를 우선시하고, Data Warehouse는 쿼리 성능과 데이터 품질을 우선시합니다.

Question 2

Data Lake와 Data Warehouse를 분리한 아키텍처와 비교하여 Lakehouse 아키텍처의 주요 장점은 무엇입니까?

Accepted Answer

Lakehouse 아키텍처는 양쪽 세계의 장점을 결합합니다: Data Lake의 유연하고 경제적인 스토리지와 Data Warehouse의 ACID 기능, 쿼리 성능, 거버넌스를 통합합니다. 이는 시스템 간 데이터 중복을 제거하고 동기화 비용과 복잡성을 줄이면서 Delta Lake, Iceberg, Hudi 같은 오픈 형식을 사용하여 동일한 플랫폼에서 BI 및 ML 워크로드를 실행할 수 있게 합니다.

Question 3

Data Lake에서 ACID 트랜잭션을 가능하게 하는 오픈 테이블 형식은 무엇입니까?

Accepted Answer

Delta Lake, Apache Iceberg, Apache Hudi는 Data Lake에서 ACID 트랜잭션을 가능하게 하는 세 가지 주요 오픈 테이블 형식입니다. Databricks가 개발한 Delta Lake는 transaction log를 사용하여 atomicity와 consistency를 보장합니다. Netflix가 만든 Iceberg는 고급 파티션 관리와 schema evolution을 제공합니다. Uber가 개발한 Hudi는 upsert 및 CDC 시나리오에서 뛰어납니다. 이러한 형식은 단순한 객체 스토리지를 트랜잭션 보장이 있는 Lakehouse로 변환합니다.

모던 Data Architecture

Data Lake와 Data Warehouse의 근본적인 차이점은 무엇입니까?

답변

Data Lake와 Data Warehouse를 분리한 아키텍처와 비교하여 Lakehouse 아키텍처의 주요 장점은 무엇입니까?

답변

Data Lake에서 ACID 트랜잭션을 가능하게 하는 오픈 테이블 형식은 무엇입니까?

답변

Data Mesh의 근본 원칙은 무엇입니까?

Data Mesh 컨텍스트에서 Data Contract란 무엇입니까?

기타 Data Engineering 면접 주제

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

Fivetran & Airbyte - 데이터 수집

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Apache Airflow - 고급

Airflow + dbt - 파이프라인 오케스트레이션

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모니터링 및 관찰 가능성

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요