Data Engineering

Linux과 Shell: 필수 명령어, bash 스크립팅, 권한, cron jobs

Git과 GitHub: branching, merge, rebase, pull requests, CI/CD 워크플로

고급 Python: OOP, 데코레이터, 제너레이터, 컨텍스트 매니저, typing, async/await

CI/CD: linting (Ruff, Pylint), packaging (Poetry), tests, GitHub Actions, pipelines

Docker: Dockerfile, 이미지, 컨테이너, volumes, networks, multi-stage builds

Docker Compose: 멀티 컨테이너 서비스, 의존성, healthchecks, 로컬 오케스트레이션

FastAPI: 라우트, Pydantic 모델, 의존성, middleware, 배포

고급 SQL: window functions, CTEs, 분석 쿼리, 최적화, 인덱싱

BigQuery: 서버리스 아키텍처, 파티셔닝, 클러스터링, 비용, UDFs, federated queries

PostgreSQL: 설정, 복제, 인덱싱 (B-tree, GIN, GiST), VACUUM, EXPLAIN ANALYZE

데이터 모델링: 스타 스키마, 팩트/디멘션 테이블, 정규화, SCD, data vault

ELT vs ETL vs ETLT: 패턴, 트레이드오프, 아키텍처 선택

Fivetran과 Airbyte: 커넥터, 동기화 모드, CDC, 스키마 진화

dbt: models, sources, refs, tests, snapshots, incremental models, Jinja macros

Apache Airflow: DAGs, operators, sensors, XCom, connections, pools, 태스크 의존성

PySpark: RDD vs DataFrame, 변환, 액션, 파티셔닝, broadcast variables

스트리밍: Pub/Sub (topics, subscriptions), Apache Beam (PCollections, transforms, windowing), Dataflow

Kubernetes: pods, deployments, services, ingress, ConfigMaps, Secrets, Helm, scaling

Terraform: providers, resources, state, modules, plan/apply, infrastructure as code

IAM과 보안: 최소 권한 원칙, service accounts, GCP 역할

NoSQL 데이터베이스: GraphDB (Neo4j), Document DBs (MongoDB, Firestore), Wide Column (Cassandra, Bigtable)

데이터 아키텍처: Data Lake vs Data Warehouse vs Data Lakehouse, Data Mesh, Data Contracts

모니터링과 관측성: 로깅, 메트릭, 알림, SLA/SLO/SLI, 데이터 품질 체크