Question 1

배포 모델 관점에서 Fivetran과 Airbyte의 주요 차이점은 무엇입니까?

Accepted Answer

Fivetran은 인프라가 Fivetran에 의해 관리되는 완전 관리형 SaaS 솔루션이며, Airbyte는 cloud 제공 외에도 open-source self-hosted 모델을 제공합니다. Airbyte는 자체 인프라(Docker, Kubernetes)에 솔루션을 배포할 수 있어 데이터와 비용에 대한 더 많은 제어를 제공하는 반면, Fivetran은 모든 유지 관리를 처리하여 운영을 단순화합니다.

Question 2

Fivetran 또는 Airbyte의 맥락에서 connector란 무엇입니까?

Accepted Answer

Connector는 특정 소스(데이터베이스, API, SaaS)에서 대상(data warehouse, data lake)으로 데이터를 추출하는 사전 구성된 컴포넌트입니다. 각 connector는 주어진 소스에 대한 인증, 페이지네이션, 오류 처리 및 스키마 매핑을 처리하여 사용자 정의 통합 코드를 작성할 필요를 없앱니다.

Question 3

Full Refresh와 Incremental 동기화의 차이점은 무엇입니까?

Accepted Answer

Full Refresh는 매 동기화 시 소스에서 모든 데이터를 추출하고 대상의 기존 데이터를 교체합니다. Incremental은 커서(timestamp, 자동 증가 ID)를 사용하여 마지막 동기화 이후의 새 데이터 또는 변경 사항만 전송합니다. Incremental은 시간, 비용 및 소스 부하 측면에서 더 효율적입니다.

Fivetran & Airbyte - 데이터 수집

배포 모델 관점에서 Fivetran과 Airbyte의 주요 차이점은 무엇입니까?

답변

Fivetran 또는 Airbyte의 맥락에서 connector란 무엇입니까?

답변

Full Refresh와 Incremental 동기화의 차이점은 무엇입니까?

답변

CDC (Change Data Capture)란 무엇이며 수집 도구에서 왜 사용됩니까?

CDC가 timestamp 기반 증분 sync에 비해 제공하는 주요 이점은 무엇입니까?

기타 Data Engineering 면접 주제

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Apache Airflow - 고급

Airflow + dbt - 파이프라인 오케스트레이션

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모던 Data Architecture

모니터링 및 관찰 가능성

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요