# PySpark - Grootschalige verwerking (Data Engineering)

> SparkSession, RDD vs DataFrame, transformations, actions, partitioning, broadcast variables, UDFs, Spark SQL, caching

- 20 gespreksvragen
- Senior
- [Gespreksvragen: Data Engineering](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen.md)

## 1. Wat is het belangrijkste startpunt voor het maken van een PySpark-applicatie?

**Antwoord**

SparkSession is het uniforme startpunt dat in Spark 2.0 werd geïntroduceerd. Het vervangt de oude SparkContext, SQLContext en HiveContext door één enkel object. SparkSession maakt het mogelijk om DataFrames te maken, SQL-queries uit te voeren en de Spark-applicatie centraal te configureren.

## 2. Wat is het fundamentele verschil tussen een RDD en een DataFrame in PySpark?

**Antwoord**

Een DataFrame heeft een gestructureerd schema met benoemde en getypeerde kolommen, waardoor Spark queries kan optimaliseren via Catalyst. Een RDD is een ongestructureerde gedistribueerde collectie waarbij Spark de interne datastructuur niet kent, wat mogelijke optimalisaties beperkt.

## 3. Wat is het verschil tussen een transformation en een action in PySpark?

**Antwoord**

Transformations worden lazy geëvalueerd en bouwen een uitvoeringsplan op zonder berekening te starten. Actions starten de daadwerkelijke uitvoering van het plan op het cluster en geven een resultaat terug aan de driver. Dit onderscheid stelt Spark in staat het plan vóór de uitvoering te optimaliseren.

## Nog 17 vragen beschikbaar

- Welke van de volgende operaties is een PySpark-action?
- Hoe maak je een DataFrame van een Parquet-bestand in PySpark?

Meld je gratis aan: https://sharpskill.dev/nl/login

## Andere Data Engineering-sollicitatieonderwerpen

- [Linux & Shell - Grondbeginselen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/linux-shell-basics.md): 20 vragen, Junior
- [Git & GitHub - Grondbeginselen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/git-github-fundamentals.md): 20 vragen, Junior
- [Geavanceerde Python voor Data Engineering](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/python-advanced-de.md): 25 vragen, Junior
- [Docker - Basisbeginselen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/docker-fundamentals.md): 25 vragen, Junior
- [Google Cloud Platform - Fundamenten](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/gcp-fundamentals.md): 20 vragen, Junior
- [CI/CD en codekwaliteit](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/ci-cd-code-quality.md): 20 vragen, Mid-Level
- [Docker Compose](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/docker-compose.md): 20 vragen, Mid-Level
- [FastAPI - Data-API's](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/fastapi.md): 20 vragen, Mid-Level
- [Geavanceerde SQL voor Data Engineering](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/sql-advanced-de.md): 20 vragen, Mid-Level
- [Data Lake - Architectuur en ingestie](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/data-lake.md): 20 vragen, Mid-Level
- [BigQuery voor Data Engineering](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/bigquery-de.md): 20 vragen, Mid-Level
- [PostgreSQL - Administratie](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/postgresql-admin.md): 20 vragen, Mid-Level
- [Data Modeling voor Data Engineering](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/data-modeling-de.md): 20 vragen, Mid-Level
- [Fivetran & Airbyte - Data-ingestie](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/fivetran-airbyte.md): 20 vragen, Mid-Level
- [dbt - Grondbeginselen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/dbt-fundamentals-de.md): 20 vragen, Mid-Level
- [Apache Airflow - Grondbeginselen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/airflow-fundamentals.md): 20 vragen, Mid-Level
- [Kubernetes - Fundamenten](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/kubernetes-fundamentals.md): 20 vragen, Mid-Level
- [dbt - Geavanceerde functies](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/dbt-advanced-de.md): 20 vragen, Senior
- [ETL- / ELT- / ETLT-patronen](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/etl-elt-patterns.md): 20 vragen, Senior
- [Apache Airflow - Gevorderd](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/airflow-advanced.md): 20 vragen, Senior
- [Airflow + dbt - Pipeline-orkestratie](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/airflow-dbt-integration.md): 20 vragen, Senior
- [Google Pub/Sub - Datastreaming](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/pubsub-streaming.md): 20 vragen, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/apache-beam-dataflow.md): 20 vragen, Senior
- [Kubernetes - Productie en scaling](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/kubernetes-advanced.md): 20 vragen, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/terraform.md): 20 vragen, Senior
- [NoSQL-databases](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/nosql-databases.md): 20 vragen, Senior
- [Moderne Data Architecture](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/data-architecture.md): 20 vragen, Senior
- [Monitoring en observability](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/monitoring-observability.md): 20 vragen, Senior
- [IAM en gegevensbeveiliging](https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/iam-security-de.md): 20 vragen, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/nl/technologies/data-engineering/sollicitatievragen/pyspark