Question 1

Linux 터미널에서 현재 작업 디렉터리를 표시하는 명령어는 무엇입니까?

Accepted Answer

pwd (print working directory) 명령어는 현재 디렉터리의 절대 경로를 표시합니다. 파일 트리에서 자신의 위치를 파악하는 데 필수적이며, 특히 여러 폴더 간을 탐색하거나 bash 스크립트에서 중요합니다.

Question 2

기존 디렉토리에 새 Git 저장소를 초기화하는 명령은 무엇입니까?

Accepted Answer

git init 명령은 버전 관리에 필요한 모든 파일이 포함된 .git 하위 디렉토리를 초기화하여 현재 디렉토리에 새 Git 저장소를 생성합니다. 이 명령은 기존 프로젝트의 변경 사항 추적을 시작하기 위한 첫 번째 단계입니다.

Question 3

Python에서 클래스란 무엇입니까?

Accepted Answer

클래스는 객체의 구조와 동작을 정의하는 청사진(blueprint)입니다. 데이터(속성)와 해당 데이터를 다루는 함수(메서드)를 캡슐화합니다. 클래스를 사용하면 동일한 구조를 공유하지만 값이 다른 여러 인스턴스를 생성할 수 있으며, 이는 객체 지향 프로그래밍의 기본입니다.

Question 4

Docker 컨테이너란 무엇입니까?

Accepted Answer

Docker 컨테이너는 Docker 이미지의 실행 가능한 인스턴스입니다. 애플리케이션과 모든 종속성을 격리되고 이식 가능한 환경에 캡슐화합니다. 가상 머신과 달리 컨테이너는 호스트 시스템의 커널을 공유하므로 훨씬 가볍고 빠르게 시작됩니다. 각 컨테이너는 자체 파일 시스템, 네트워크 스택 및 격리된 프로세스를 가집니다.

Question 5

Data Lake란 무엇입니까?

Accepted Answer

Data Lake는 구조화, 반구조화, 비구조화 데이터를 원본 형식으로 저장할 수 있는 중앙 집중식 스토리지 시스템입니다. 쓰기 시 스키마를 강제하는 Data Warehouse(schema-on-write)와 달리, Data Lake는 읽기 시 스키마를 적용(schema-on-read)하여 데이터 탐색 및 분석에 최대한의 유연성을 제공합니다.

Question 6

BigQuery는 어떤 스토리지 아키텍처를 사용합니까?

Accepted Answer

BigQuery는 Capacitor라는 컬럼형 스토리지를 가진 서버리스 아키텍처를 사용합니다. 이 아키텍처는 스토리지와 컴퓨팅을 분리하여 독립적인 확장과 별도의 청구를 가능하게 합니다. 컬럼형 스토리지는 필요한 컬럼만 읽을 수 있어 I/O를 크게 줄이므로 분석 쿼리에 최적화되어 있습니다.

Question 7

shared_buffers 및 work_mem과 같은 주요 서버 매개변수가 포함된 PostgreSQL 구성 파일은 무엇입니까?

Accepted Answer

postgresql.conf 파일에는 메모리 할당(shared_buffers, work_mem), 연결 설정, 로깅 및 성능 튜닝을 포함한 주요 PostgreSQL 서버 구성 매개변수가 포함되어 있습니다. 이 파일은 서버 시작 시 읽히며 일부 매개변수는 전체 재시작이 필요합니다.

Question 8

dbt에서 Jinja 매크로의 주요 목적은 무엇입니까?

Accepted Answer

Jinja 매크로는 여러 dbt 모델에서 코드 재사용을 가능하게 합니다. 매개변수를 받아 동적으로 생성된 SQL 코드를 반환하는 함수처럼 작동합니다. 이를 통해 코드 중복을 피하고 프로젝트 전반에 걸쳐 복잡한 변환을 더 쉽게 유지 관리할 수 있습니다.

Question 9

ETL과 ELT의 주요 차이점은 무엇입니까?

Accepted Answer

ETL(Extract-Transform-Load)에서는 데이터가 대상에 로드되기 전에 중간 서버에서 변환됩니다. ELT(Extract-Load-Transform)에서는 원시 데이터가 먼저 대상(일반적으로 클라우드 데이터 웨어하우스)에 로드된 후 컴퓨팅 파워를 사용하여 그 안에서 직접 변환됩니다. ELT는 탄력적인 컴퓨팅 파워를 제공하는 BigQuery, Snowflake 또는 Redshift와 같은 클라우드 데이터 웨어하우스와 함께 인기를 얻었습니다.

Question 10

Apache Airflow에서 Sensor의 주요 역할은 무엇입니까?

Accepted Answer

Sensor는 DAG 실행을 계속하기 전에 조건이 충족될 때까지 기다리는 특수 오퍼레이터입니다. 파일 도착, 파티션 가용성 또는 다른 작업의 상태와 같은 조건이 충족되었는지 주기적으로 확인(poke)합니다. Sensor는 외부 이벤트에 의존하는 워크플로우를 오케스트레이션하는 데 필수적입니다.

Data Engineering 면접 질문

Data Engineering 면접 준비가 되셨나요?

모든 Data Engineering 주제 탐색

Linux & Shell - 기초

Git & GitHub - 기초

데이터 엔지니어링을 위한 고급 Python

Docker - 기초

Google Cloud Platform - 기초

CI/CD 및 코드 품질

Docker Compose

FastAPI - 데이터 API

Data Engineering을 위한 고급 SQL

Data Lake - 아키텍처 및 수집

데이터 엔지니어링을 위한 BigQuery

PostgreSQL - 관리

Data Engineering을 위한 Data Modeling

Fivetran & Airbyte - 데이터 수집

dbt - 기초

Apache Airflow - 기초

Kubernetes - 기초

dbt - 고급 기능

ETL / ELT / ETLT 패턴

Apache Airflow - 고급

Airflow + dbt - 파이프라인 오케스트레이션

PySpark - 대규모 처리

Google Pub/Sub - 데이터 스트리밍

Apache Beam & Dataflow

Kubernetes - 프로덕션 및 스케일링

Terraform - Infrastructure as Code

NoSQL 데이터베이스

모던 Data Architecture

모니터링 및 관찰 가능성

IAM 및 데이터 보안

다음 면접을 위해 Data Engineering을 마스터하세요