# PySpark - 대규모 처리 (Data Engineering) > SparkSession, RDD vs DataFrame, transformations, actions, partitioning, broadcast variables, UDFs, Spark SQL, caching - 20 면접 질문 - Senior - [면접 질문: Data Engineering](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions.md) ## 1. PySpark 애플리케이션을 만들기 위한 주요 진입점은 무엇입니까? **답변** SparkSession은 Spark 2.0에서 도입된 통합 진입점입니다. 기존의 SparkContext, SQLContext, HiveContext를 단일 객체로 대체합니다. SparkSession을 통해 DataFrame 생성, SQL 쿼리 실행, Spark 애플리케이션을 중앙 집중식으로 구성할 수 있습니다. ## 2. PySpark에서 RDD와 DataFrame의 근본적인 차이점은 무엇입니까? **답변** DataFrame은 이름과 타입이 지정된 컬럼을 가진 구조화된 스키마를 가지고 있어 Spark가 Catalyst를 통해 쿼리를 최적화할 수 있습니다. RDD는 구조화되지 않은 분산 컬렉션으로, Spark가 내부 데이터 구조를 알지 못하므로 최적화가 제한됩니다. ## 3. PySpark에서 transformation과 action의 차이점은 무엇입니까? **답변** transformation은 지연 평가되며 계산을 트리거하지 않고 실행 계획을 구축합니다. action은 클러스터에서 계획의 실제 실행을 트리거하고 driver에 결과를 반환합니다. 이러한 구분 덕분에 Spark는 실행 전에 계획을 최적화할 수 있습니다. ## 17개 추가 질문 이용 가능 - 다음 작업 중 PySpark action은 무엇입니까? - PySpark에서 Parquet 파일로부터 DataFrame을 만들려면 어떻게 해야 합니까? 무료로 가입하기: https://sharpskill.dev/ko/login ## 기타 Data Engineering 면접 주제 - [Linux & Shell - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/linux-shell-basics.md): 20개 질문, Junior - [Git & GitHub - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/git-github-fundamentals.md): 20개 질문, Junior - [데이터 엔지니어링을 위한 고급 Python](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/python-advanced-de.md): 25개 질문, Junior - [Docker - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/docker-fundamentals.md): 25개 질문, Junior - [Google Cloud Platform - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/gcp-fundamentals.md): 20개 질문, Junior - [CI/CD 및 코드 품질](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/ci-cd-code-quality.md): 20개 질문, Mid-Level - [Docker Compose](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/docker-compose.md): 20개 질문, Mid-Level - [FastAPI - 데이터 API](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/fastapi.md): 20개 질문, Mid-Level - [Data Engineering을 위한 고급 SQL](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/sql-advanced-de.md): 20개 질문, Mid-Level - [Data Lake - 아키텍처 및 수집](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/data-lake.md): 20개 질문, Mid-Level - [데이터 엔지니어링을 위한 BigQuery](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/bigquery-de.md): 20개 질문, Mid-Level - [PostgreSQL - 관리](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/postgresql-admin.md): 20개 질문, Mid-Level - [Data Engineering을 위한 Data Modeling](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/data-modeling-de.md): 20개 질문, Mid-Level - [Fivetran & Airbyte - 데이터 수집](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/fivetran-airbyte.md): 20개 질문, Mid-Level - [dbt - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/dbt-fundamentals-de.md): 20개 질문, Mid-Level - [Apache Airflow - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/airflow-fundamentals.md): 20개 질문, Mid-Level - [Kubernetes - 기초](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/kubernetes-fundamentals.md): 20개 질문, Mid-Level - [dbt - 고급 기능](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/dbt-advanced-de.md): 20개 질문, Senior - [ETL / ELT / ETLT 패턴](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/etl-elt-patterns.md): 20개 질문, Senior - [Apache Airflow - 고급](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/airflow-advanced.md): 20개 질문, Senior - [Airflow + dbt - 파이프라인 오케스트레이션](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/airflow-dbt-integration.md): 20개 질문, Senior - [Google Pub/Sub - 데이터 스트리밍](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/pubsub-streaming.md): 20개 질문, Senior - [Apache Beam & Dataflow](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/apache-beam-dataflow.md): 20개 질문, Senior - [Kubernetes - 프로덕션 및 스케일링](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/kubernetes-advanced.md): 20개 질문, Senior - [Terraform - Infrastructure as Code](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/terraform.md): 20개 질문, Senior - [NoSQL 데이터베이스](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/nosql-databases.md): 20개 질문, Senior - [모던 Data Architecture](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/data-architecture.md): 20개 질문, Senior - [모니터링 및 관찰 가능성](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/monitoring-observability.md): 20개 질문, Senior - [IAM 및 데이터 보안](https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/iam-security-de.md): 20개 질문, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/ko/technologies/data-engineering/interview-questions/pyspark