Apache Spark 4.2 vs Databricks 2026년 비교: 아키텍처, 성능, 면접 질문

Apache Spark 4.2와 Databricks는 2026년 분산 데이터 처리 분야에서 두 가지 주요 선택지를 대표합니다. Spark는 오픈소스 프레임워크로서 최대한의 유연성을 제공하며, Databricks는 완전 관리형 레이크하우스 플랫폼으로 Spark를 기반으로 하면서 독자적인 기능 확장을 제공합니다. 데이터 엔지니어링 면접과 아키텍처 설계에서 두 기술의 차이를 이해하는 것은 필수적입니다.

Apache Spark 4.2: 신규 기능과 아키텍처

Apache Spark 4.2는 2026년 7월 14일에 릴리스되었으며, 데이터 파이프라인 운영 방식을 혁신하는 여러 기능을 도입했습니다. 가장 중요한 추가 기능은 변경 데이터 캡처, AI 통합, 스트리밍 워크로드를 대상으로 합니다.

Auto CDC와 CHANGES 절

Spark 4.2에서는 변경 데이터 캡처(CDC)가 엔진에 네이티브로 통합되었습니다. 이전에는 데이터 변경을 추적하기 위해 타임스탬프, 해시 비교, 외부 CDC 도구를 사용한 커스텀 솔루션이 필요했습니다. 새로운 Auto CDC 기능은 이를 자동으로 처리합니다.

-- changes-query.sql
-- 버전 10 이후의 Delta 테이블 변경 사항 조회
SELECT * FROM orders CHANGES SINCE VERSION 10;

-- 시간 범위 내 변경 사항 추적
SELECT * FROM customers 
CHANGES BETWEEN TIMESTAMP '2026-07-01' AND TIMESTAMP '2026-07-15';

CHANGES 절은 각 행이 삽입, 업데이트 또는 삭제되었는지를 나타내는 메타데이터 컬럼과 함께 행을 반환합니다. 이를 통해 대부분의 사용 사례에서 별도의 CDC 인프라를 유지할 필요가 없어집니다.

Metric Views: 네이티브 시맨틱 레이어

Metric Views는 Spark SQL 내에서 직접 비즈니스 정의를 관리할 수 있는 기능을 제공합니다. 팀은 메트릭을 한 번 정의하면 대시보드, 리포트, AI 애플리케이션 전체에서 일관된 계산을 보장할 수 있습니다.

-- metric-views.sql
-- 매출 계산을 위한 Metric View 정의
CREATE METRIC VIEW monthly_revenue AS
SELECT 
    DATE_TRUNC('month', order_date) AS month,
    SUM(amount) AS total_revenue,
    COUNT(DISTINCT customer_id) AS unique_customers,
    SUM(amount) / COUNT(DISTINCT customer_id) AS revenue_per_customer
FROM orders
WHERE status = 'completed'
GROUP BY DATE_TRUNC('month', order_date);

-- Metric View 조회
SELECT * FROM monthly_revenue WHERE month >= '2026-01-01';

Metric Views는 계산의 일관성을 강제합니다. 재무팀이 monthly_revenue를 조회하면 ML 모델을 구축하는 데이터 사이언스팀과 동일한 수치를 얻게 됩니다.

PySpark 실시간 모드

Spark 4.2에서는 PySpark의 스트리밍 워크플로우를 단순화하는 실시간 모드가 도입되었습니다. 이 기능은 체크포인트 관리와 장애 복구의 운영 부담을 줄여줍니다.

# streaming_pipeline.py
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, window

spark = SparkSession.builder.appName("RealTimeOrders").getOrCreate()

# 실시간 모드를 활성화하여 스트리밍 단순화
orders_stream = spark.readStream \
    .format("kafka") \
    .option("kafka.bootstrap.servers", "kafka:9092") \
    .option("subscribe", "orders") \
    .option("realtimeMode", "true") \
    .load()

# 5분 윈도우로 주문 집계
aggregated = orders_stream \
    .withWatermark("event_time", "10 minutes") \
    .groupBy(window(col("event_time"), "5 minutes"), col("region")) \
    .agg({"amount": "sum", "order_id": "count"})

# Delta Lake에 기록
aggregated.writeStream \
    .format("delta") \
    .outputMode("append") \
    .option("checkpointLocation", "/checkpoints/orders") \
    .toTable("order_aggregates")

실시간 모드는 체크포인트 관리를 내부적으로 처리하여 스트리밍 애플리케이션의 보일러플레이트 코드와 운영 복잡성을 줄입니다.

Databricks 플랫폼 아키텍처

Databricks는 레이크하우스 아키텍처를 중심으로 구축되어 데이터 레이크의 유연성과 데이터 웨어하우스의 성능을 결합합니다. 플랫폼은 여러 구성 요소로 이루어져 있습니다.

Unity Catalog: 통합 데이터 거버넌스

Unity Catalog는 Databricks의 모든 데이터 자산에 대한 중앙 집중식 거버넌스 레이어를 제공합니다. 테이블, 뷰, ML 모델, 노트북 등의 메타데이터를 일원화하여 관리하고, 행 수준 및 열 수준 보안을 적용할 수 있습니다.

-- unity-catalog-permissions.sql
-- 특정 테이블에 대한 권한 부여
GRANT SELECT ON TABLE sales.transactions TO `data-analysts@company.com`;

-- 열 수준 마스킹 적용
ALTER TABLE customers 
ALTER COLUMN email SET MASK mask_email_udf;

-- 행 수준 필터 설정
ALTER TABLE orders 
SET ROW FILTER region_filter ON (region);

Unity Catalog는 데이터 계보를 자동으로 추적하고, 규정 준수 요구사항(GDPR, HIPAA)에 대한 대응을 지원합니다.

Photon 엔진: 네이티브 벡터화 실행

Photon은 Databricks의 차세대 쿼리 엔진으로, C++로 구현되었습니다. 표준 Spark SQL 엔진과 비교하여 스캔, 필터, 집계, 조인 연산에서 최대 12배의 성능 향상을 실현합니다.

# photon_config.py
from pyspark.sql import SparkSession

# Photon이 활성화된 Spark 세션
spark = SparkSession.builder \
    .appName("PhotonWorkload") \
    .config("spark.databricks.photon.enabled", "true") \
    .config("spark.databricks.photon.allDataSourcesEnabled", "true") \
    .getOrCreate()

# 대규모 조인 쿼리 - Photon이 자동 최적화
result = spark.sql("""
    SELECT 
        c.customer_id,
        c.name,
        SUM(o.amount) as total_spent,
        COUNT(o.order_id) as order_count
    FROM customers c
    JOIN orders o ON c.customer_id = o.customer_id
    WHERE o.order_date >= '2026-01-01'
    GROUP BY c.customer_id, c.name
    HAVING SUM(o.amount) > 10000
    ORDER BY total_spent DESC
""")

Photon은 특히 Parquet 파일 읽기, 문자열 연산, 복잡한 조인에서 현저한 성능 향상을 보여줍니다.

아키텍처 비교: Spark vs Databricks

두 기술의 선택은 조직의 요구사항, 기술적 성숙도, 예산에 따라 달라집니다.

| 관점 | Apache Spark 4.2 | Databricks | |---|---|---| | 배포 | 셀프 호스팅(Kubernetes, YARN, 스탠드얼론) | 완전 관리형 클라우드(AWS, Azure, GCP) | | 비용 | 인프라 비용 + 운영 인건비 | DBU(Databricks Unit) 기반 종량제 | | 최적화 | 수동 튜닝 필요 | Photon, 자동 스케일링, Adaptive Query Execution | | 거버넌스 | 외부 도구 통합 필요 | Unity Catalog 내장 | | ML/AI | MLlib + 외부 도구(MLflow 등) | MLflow, Feature Store, Model Serving 통합 | | 지원 | 커뮤니티 지원 | 24/7 엔터프라이즈 지원 |

사용 사례별 권장 사항

Apache Spark가 적합한 경우:

• 기존 Kubernetes/YARN 인프라가 있는 경우
• 멀티클라우드나 하이브리드 클라우드 환경에서 유연성이 필요한 경우
• 벤더 종속을 피하고자 하는 경우
• 사내에 Spark 전문 지식을 보유한 팀이 있는 경우

Databricks가 적합한 경우:

• 빠른 시작과 스케일링이 필요한 경우
• 데이터 사이언스와 데이터 엔지니어링의 통합이 중요한 경우
• 운영 부담을 최소화하고자 하는 경우
• Unity Catalog를 통한 통합 거버넌스가 필요한 경우

성능 최적화 모범 사례

Spark 4.2와 Databricks 모두에서 성능을 최대화하기 위한 공통적인 모범 사례가 있습니다.

파티셔닝 전략

적절한 파티셔닝은 대규모 데이터셋의 쿼리 성능에 직접적인 영향을 미칩니다.

# partitioning_strategy.py
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, year, month

spark = SparkSession.builder.appName("Partitioning").getOrCreate()

# 날짜 기반 파티셔닝
orders_df = spark.read.parquet("/data/orders")

# 연도와 월로 파티션 분할하여 저장
orders_df.write \
    .partitionBy("order_year", "order_month") \
    .format("delta") \
    .mode("overwrite") \
    .saveAsTable("orders_partitioned")

# Z-ORDERING으로 추가 최적화(Delta Lake)
spark.sql("""
    OPTIMIZE orders_partitioned 
    ZORDER BY (customer_id, order_date)
""")

Z-ORDERING은 자주 필터링되는 컬럼에 대해 데이터를 코로케이션하여 쿼리 시 파일 스킵을 개선합니다.

Adaptive Query Execution(AQE)

Spark 3.0 이후 도입된 AQE는 런타임에 쿼리 플랜을 동적으로 최적화합니다. Spark 4.2에서는 이 기능이 더욱 강화되었습니다.

# aqe_config.py
spark = SparkSession.builder \
    .appName("AQEOptimization") \
    .config("spark.sql.adaptive.enabled", "true") \
    .config("spark.sql.adaptive.coalescePartitions.enabled", "true") \
    .config("spark.sql.adaptive.skewJoin.enabled", "true") \
    .config("spark.sql.adaptive.localShuffleReader.enabled", "true") \
    .getOrCreate()

# AQE가 자동으로 파티션 수 최적화
result = spark.sql("""
    SELECT region, SUM(amount) as total
    FROM orders
    GROUP BY region
""")

AQE는 셔플 파티션의 자동 병합, 스큐 조인의 동적 처리, 런타임 통계 기반 쿼리 플랜 최적화를 수행합니다.

Spark vs Databricks 면접 질문

2026년 데이터 엔지니어링 면접에서는 Spark와 Databricks에 대한 깊은 이해가 요구됩니다. 다음은 자주 출제되는 질문과 예상 답변입니다.

Q1: Apache Spark와 Databricks의 근본적인 차이를 설명해 주십시오. Databricks를 '관리형 Spark'라고 부르는 것이 정확합니까?

Apache Spark는 분산 데이터 처리를 위한 오픈소스 프레임워크입니다. 배치 처리, 스트리밍, 머신러닝, 그래프 처리를 위한 통합 API를 제공합니다. 반면 Databricks는 Spark 위에 구축된 상용 플랫폼으로, Spark 코어 외에 독자적인 기능(Photon 엔진, Unity Catalog, Delta Lake 최적화, MLflow 통합)을 제공합니다. '관리형 Spark'라는 표현은 부분적으로 정확하지만, Databricks의 가치는 Spark 실행 환경 관리에만 있지 않습니다. 오히려 데이터 엔지니어링, 데이터 사이언스, 머신러닝을 통합하는 레이크하우스 플랫폼으로 이해해야 합니다.

Q2: Spark 4.2의 Auto CDC 기능은 어떻게 작동합니까? 기존 CDC 방식과 비교한 장점은 무엇입니까?

Auto CDC는 Delta Lake 테이블의 변경 이력을 네이티브로 추적하는 기능입니다. 내부적으로 Delta 로그의 트랜잭션 이력을 활용하여 각 버전 간의 차이를 효율적으로 계산합니다. 기존 CDC 방식에서는 타임스탬프 컬럼 추가, 해시 값 비교, 또는 Debezium 같은 외부 도구가 필요했습니다. Auto CDC의 장점은 추가 인프라 없이 CDC 기능을 사용할 수 있고, CHANGES 절을 사용한 직관적인 SQL 구문으로 쿼리할 수 있다는 것입니다. 또한 Delta의 트랜잭션 로그와 통합되어 있어 정확성이 보장되고, 성능 오버헤드가 최소화됩니다.

Q3: Photon 엔진이 Spark의 Catalyst 옵티마이저보다 빠른 이유를 기술적으로 설명해 주십시오.

Catalyst는 JVM 기반 쿼리 엔진으로, Spark SQL 쿼리를 최적화하여 실행 계획을 생성합니다. 반면 Photon은 C++로 구현된 벡터화 실행 엔진입니다. Photon이 빠른 이유는 여러 가지가 있습니다. 먼저 JVM의 가비지 컬렉션 오버헤드를 피합니다. 다음으로 SIMD 벡터 명령을 활용하여 한 번에 여러 데이터 요소를 처리합니다. 또한 컬럼나 포맷(Parquet)에 최적화된 메모리 레이아웃을 사용하여 CPU 캐시 효율을 극대화합니다. 다만 Photon이 모든 Spark 워크로드에 적합한 것은 아닙니다. UDF(사용자 정의 함수)를 많이 사용하는 워크로드나 복잡한 중첩 데이터 구조를 처리하는 경우 Catalyst가 더 적합할 수 있습니다.

Q4: Delta Lake와 Apache Iceberg의 차이점은 무엇입니까? 어떤 것을 선택해야 합니까?

Delta Lake는 Databricks가 개발한 오픈소스 테이블 포맷으로, ACID 트랜잭션, 타임 트래블, 스키마 에볼루션을 제공합니다. Apache Iceberg는 Netflix가 개발한 유사한 테이블 포맷으로, 더 넓은 엔진 호환성(Spark, Flink, Trino, Presto)이 특징입니다. 선택 기준으로, Databricks 에코시스템을 중심으로 사용하는 경우 Delta Lake가 최적입니다. 멀티 엔진 환경이나 벤더 중립성을 중시하는 경우 Iceberg가 적합합니다. Spark 4.2에서는 두 포맷 모두 네이티브 지원되므로, 기술적 제약보다는 조직의 에코시스템 전략에 따라 선택해야 합니다.

Q5: Spark 작업의 성능을 최적화할 때 가장 먼저 확인해야 할 3가지 지표는 무엇입니까?

가장 먼저 확인해야 할 3가지 지표는 셔플 읽기/쓰기 크기, 태스크 실행 시간 분포, 스필 메트릭입니다. 셔플 크기가 큰 경우 파티셔닝 전략 재검토나 브로드캐스트 조인 사용을 고려합니다. 태스크 실행 시간에 편차가 있는 경우(스큐) AQE의 스큐 조인 최적화를 활성화하거나 솔트 기법을 적용합니다. 스필(디스크 기록)이 발생하는 경우 이그제큐터 메모리를 늘리거나 처리 데이터 양을 줄이기 위해 필터를 조기에 적용합니다. Spark UI의 'Stage' 탭과 'Executor' 탭에서 이러한 지표를 확인할 수 있습니다.

프로덕션 환경 운영 고려사항

프로덕션 환경에서 Spark 또는 Databricks를 운영할 때는 모니터링, 비용 관리, 장애 복구 전략이 중요합니다.

# monitoring_config.py
from pyspark.sql import SparkSession

# 모니터링 및 메트릭 수집 설정
spark = SparkSession.builder \
    .appName("ProductionWorkload") \
    .config("spark.metrics.conf.*.sink.prometheus.class", 
            "org.apache.spark.metrics.sink.PrometheusSink") \
    .config("spark.sql.queryExecutionListeners", 
            "com.company.QueryMetricsListener") \
    .getOrCreate()

# 쿼리 실행 메트릭을 위한 커스텀 리스너
class QueryMetricsListener:
    def onSuccess(self, funcName, qe, durationNs):
        # 메트릭을 Prometheus로 전송
        pass
    
    def onFailure(self, funcName, qe, exception):
        # 알림 전송
        pass

Databricks에서는 시스템 테이블을 사용하여 비용과 사용량을 모니터링할 수 있습니다.

-- databricks_cost_monitoring.sql
-- DBU 사용량 분석
SELECT 
    workspace_id,
    sku_name,
    usage_date,
    SUM(usage_quantity) as total_dbus,
    SUM(list_cost) as total_cost
FROM system.billing.usage
WHERE usage_date >= DATEADD(day, -30, CURRENT_DATE)
GROUP BY workspace_id, sku_name, usage_date
ORDER BY total_cost DESC;

데이터 엔지니어링 실무에서는 Spark 클러스터의 적절한 사이징과 오토 스케일링 설정이 중요합니다. Apache Airflow 같은 오케스트레이션 도구와 결합하면 효율적인 데이터 파이프라인을 구축할 수 있습니다.

결론: 2026년 Spark와 Databricks의 위상

Apache Spark 4.2와 Databricks는 2026년 데이터 엔지니어링에서 상호 보완적인 역할을 수행합니다. Spark 4.2는 Auto CDC, Metric Views, 실시간 모드 등 혁신적인 기능을 도입하여 오픈소스 프레임워크로서의 경쟁력을 유지하고 있습니다. Databricks는 Photon 엔진, Unity Catalog, 통합된 ML/AI 플랫폼을 통해 엔터프라이즈용 턴키 솔루션을 제공합니다.

이 글에서 다룬 주요 내용:

• 아키텍처 차이: Spark는 프레임워크이고 Databricks는 플랫폼으로, 둘은 직접 비교 가능한 경쟁 관계가 아니라 서로 다른 수준의 추상화를 제공함
• Spark 4.2 신규 기능: Auto CDC, Metric Views, 실시간 모드가 운영 복잡성을 줄이고 개발자 경험을 향상시킴
• Databricks의 강점: Photon 엔진, Unity Catalog, MLflow 통합이 엔터프라이즈 워크로드에 최적화됨
• 선택 기준: 조직의 기술적 성숙도, 기존 인프라, 비용 구조, 벤더 중립성 요구사항에 따라 판단
• 면접 대비: 두 기술의 기술적 차이뿐만 아니라 사용 사례에 따른 적절한 선택 능력을 보여주는 것이 중요

데이터 엔지니어링 면접에서는 Spark와 Databricks의 표면적인 비교가 아니라, 각 기술의 내부 동작, 성능 특성, 조직 요구사항에 기반한 적절한 선택 능력이 평가됩니다.