모던 Data Architecture
Data Lake vs Data Warehouse vs Lakehouse, Data Mesh, Data Contracts, schema registry, ADR, 거버넌스, data catalog, lineage
1Data Lake와 Data Warehouse의 근본적인 차이점은 무엇입니까?
Data Lake와 Data Warehouse의 근본적인 차이점은 무엇입니까?
답변
Data Lake는 데이터를 네이티브(raw) 형식으로 저장하고 읽기 시점에 schema를 적용(schema-on-read)하여 탐색에 큰 유연성을 제공합니다. Data Warehouse는 쓰기 시점에 구조화된 schema를 강제(schema-on-write)하고 분석에 최적화된 변환된 데이터를 보관합니다. Data Lake는 유연성과 저비용 대용량 스토리지를 우선시하고, Data Warehouse는 쿼리 성능과 데이터 품질을 우선시합니다.
2Data Lake와 Data Warehouse를 분리한 아키텍처와 비교하여 Lakehouse 아키텍처의 주요 장점은 무엇입니까?
Data Lake와 Data Warehouse를 분리한 아키텍처와 비교하여 Lakehouse 아키텍처의 주요 장점은 무엇입니까?
답변
Lakehouse 아키텍처는 양쪽 세계의 장점을 결합합니다: Data Lake의 유연하고 경제적인 스토리지와 Data Warehouse의 ACID 기능, 쿼리 성능, 거버넌스를 통합합니다. 이는 시스템 간 데이터 중복을 제거하고 동기화 비용과 복잡성을 줄이면서 Delta Lake, Iceberg, Hudi 같은 오픈 형식을 사용하여 동일한 플랫폼에서 BI 및 ML 워크로드를 실행할 수 있게 합니다.
3Data Lake에서 ACID 트랜잭션을 가능하게 하는 오픈 테이블 형식은 무엇입니까?
Data Lake에서 ACID 트랜잭션을 가능하게 하는 오픈 테이블 형식은 무엇입니까?
답변
Delta Lake, Apache Iceberg, Apache Hudi는 Data Lake에서 ACID 트랜잭션을 가능하게 하는 세 가지 주요 오픈 테이블 형식입니다. Databricks가 개발한 Delta Lake는 transaction log를 사용하여 atomicity와 consistency를 보장합니다. Netflix가 만든 Iceberg는 고급 파티션 관리와 schema evolution을 제공합니다. Uber가 개발한 Hudi는 upsert 및 CDC 시나리오에서 뛰어납니다. 이러한 형식은 단순한 객체 스토리지를 트랜잭션 보장이 있는 Lakehouse로 변환합니다.
Data Mesh의 근본 원칙은 무엇입니까?
Data Mesh 컨텍스트에서 Data Contract란 무엇입니까?
+17 면접 질문