# PySpark - การประมวลผลขนาดใหญ่ (Data Engineering)

> SparkSession, RDD vs DataFrame, transformations, actions, partitioning, broadcast variables, UDFs, Spark SQL, caching

- 20 คำถามสัมภาษณ์
- Senior
- [คำถามสัมภาษณ์: Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions.md)

## 1. จุดเข้าหลักสำหรับการสร้างแอปพลิเคชัน PySpark คืออะไร?

**คำตอบ**

SparkSession เป็นจุดเข้าแบบรวมที่เปิดตัวใน Spark 2.0 โดยจะแทนที่ SparkContext, SQLContext และ HiveContext แบบเก่าด้วยอ็อบเจกต์เดียว SparkSession อนุญาตให้สร้าง DataFrame, รันคำสั่ง SQL และกำหนดค่าแอปพลิเคชัน Spark แบบรวมศูนย์

## 2. ความแตกต่างพื้นฐานระหว่าง RDD และ DataFrame ใน PySpark คืออะไร?

**คำตอบ**

DataFrame มี schema ที่มีโครงสร้างพร้อมคอลัมน์ที่มีชื่อและประเภทกำกับ ซึ่งช่วยให้ Spark สามารถปรับ optimize คำสั่งผ่าน Catalyst ได้ ในขณะที่ RDD เป็น collection แบบกระจายที่ไม่มีโครงสร้าง โดย Spark ไม่ทราบโครงสร้างภายในของข้อมูล จึงจำกัดการ optimize ที่ทำได้

## 3. ความแตกต่างระหว่าง transformation และ action ใน PySpark คืออะไร?

**คำตอบ**

Transformation จะถูกประเมินผลแบบ lazy และสร้างแผนการ execution โดยไม่กระตุ้นการคำนวณ ส่วน action จะกระตุ้นการ execution จริงของแผนบน cluster และส่งผลลัพธ์กลับไปยัง driver การแยกแยะนี้ช่วยให้ Spark สามารถ optimize แผนก่อนการ execution

## มีอีก 17 คำถาม

- ในการดำเนินการต่อไปนี้ การดำเนินการใดเป็น action ของ PySpark?
- วิธีสร้าง DataFrame จากไฟล์ Parquet ใน PySpark อย่างไร?

สมัครฟรี: https://sharpskill.dev/th/login

## หัวข้อสัมภาษณ์ Data Engineering อื่นๆ

- [Linux & Shell - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/linux-shell-basics.md): 20 คำถาม, Junior
- [Git & GitHub - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/git-github-fundamentals.md): 20 คำถาม, Junior
- [Python ขั้นสูงสำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/python-advanced-de.md): 25 คำถาม, Junior
- [Docker - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/docker-fundamentals.md): 25 คำถาม, Junior
- [Google Cloud Platform - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/gcp-fundamentals.md): 20 คำถาม, Junior
- [CI/CD และคุณภาพโค้ด](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/ci-cd-code-quality.md): 20 คำถาม, Mid-Level
- [Docker Compose](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/docker-compose.md): 20 คำถาม, Mid-Level
- [FastAPI - Data API](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/fastapi.md): 20 คำถาม, Mid-Level
- [SQL ขั้นสูงสำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/sql-advanced-de.md): 20 คำถาม, Mid-Level
- [Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-lake.md): 20 คำถาม, Mid-Level
- [BigQuery สำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/bigquery-de.md): 20 คำถาม, Mid-Level
- [PostgreSQL - การดูแลระบบ](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/postgresql-admin.md): 20 คำถาม, Mid-Level
- [Data Modeling สำหรับ Data Engineering](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-modeling-de.md): 20 คำถาม, Mid-Level
- [Fivetran & Airbyte - การนำเข้าข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/fivetran-airbyte.md): 20 คำถาม, Mid-Level
- [dbt - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/dbt-fundamentals-de.md): 20 คำถาม, Mid-Level
- [Apache Airflow - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-fundamentals.md): 20 คำถาม, Mid-Level
- [Kubernetes - พื้นฐาน](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/kubernetes-fundamentals.md): 20 คำถาม, Mid-Level
- [dbt - ฟีเจอร์ขั้นสูง](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/dbt-advanced-de.md): 20 คำถาม, Senior
- [รูปแบบ ETL / ELT / ETLT](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/etl-elt-patterns.md): 20 คำถาม, Senior
- [Apache Airflow - ขั้นสูง](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-advanced.md): 20 คำถาม, Senior
- [Airflow + dbt - การจัดการ Pipeline](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/airflow-dbt-integration.md): 20 คำถาม, Senior
- [Google Pub/Sub - การสตรีมข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/pubsub-streaming.md): 20 คำถาม, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/apache-beam-dataflow.md): 20 คำถาม, Senior
- [Kubernetes - Production และ Scaling](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/kubernetes-advanced.md): 20 คำถาม, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/terraform.md): 20 คำถาม, Senior
- [ฐานข้อมูล NoSQL](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/nosql-databases.md): 20 คำถาม, Senior
- [Data Architecture สมัยใหม่](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/data-architecture.md): 20 คำถาม, Senior
- [การมอนิเตอร์และการสังเกตการณ์](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/monitoring-observability.md): 20 คำถาม, Senior
- [IAM และความปลอดภัยของข้อมูล](https://sharpskill.dev/th/technologies/data-engineering/interview-questions/iam-security-de.md): 20 คำถาม, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/th/technologies/data-engineering/interview-questions/pyspark