# PySpark - Traitement à grande échelle (Data Engineering)

> SparkSession, RDD vs DataFrame, transformations, actions, partitioning, broadcast variables, UDFs, Spark SQL, caching

- 20 questions d'entretien
- Senior
- [Questions d'entretien: Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien.md)

## 1. Quel est le point d'entrée principal pour créer une application PySpark ?

**Réponse**

SparkSession est le point d'entrée unifié introduit dans Spark 2.0. Il remplace les anciens SparkContext, SQLContext et HiveContext en un seul objet. SparkSession permet de créer des DataFrames, d'exécuter des requêtes SQL et de configurer l'application Spark de manière centralisée.

## 2. Quelle est la différence fondamentale entre un RDD et un DataFrame en PySpark ?

**Réponse**

Un DataFrame possède un schéma structuré avec des colonnes nommées et typées, ce qui permet à Spark d'optimiser les requêtes via Catalyst. Un RDD est une collection distribuée non structurée où Spark ne connaît pas la structure interne des données, limitant les optimisations possibles.

## 3. Quelle est la différence entre une transformation et une action en PySpark ?

**Réponse**

Les transformations sont évaluées paresseusement (lazy) et construisent un plan d'exécution sans déclencher de calcul. Les actions déclenchent l'exécution réelle du plan sur le cluster et retournent un résultat au driver. Cette distinction permet à Spark d'optimiser le plan avant exécution.

## 17 questions supplémentaires disponibles

- Parmi les opérations suivantes, laquelle est une action PySpark ?
- Comment créer un DataFrame à partir d'un fichier Parquet en PySpark ?

S'inscrire gratuitement: https://sharpskill.dev/fr/login

## Autres sujets d'entretien Data Engineering

- [Linux & Shell - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/linux-shell-basics.md): 20 questions, Junior
- [Git & GitHub - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/git-github-fundamentals.md): 20 questions, Junior
- [Python avancé pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/python-advanced-de.md): 25 questions, Junior
- [Docker - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/docker-fundamentals.md): 25 questions, Junior
- [Google Cloud Platform - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/gcp-fundamentals.md): 20 questions, Junior
- [CI/CD et qualité de code](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/ci-cd-code-quality.md): 20 questions, Confirmé
- [Docker Compose](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/docker-compose.md): 20 questions, Confirmé
- [FastAPI - APIs de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/fastapi.md): 20 questions, Confirmé
- [SQL avancé pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/sql-advanced-de.md): 20 questions, Confirmé
- [Data Lake - Architecture et ingestion](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-lake.md): 20 questions, Confirmé
- [BigQuery pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/bigquery-de.md): 20 questions, Confirmé
- [PostgreSQL - Administration](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/postgresql-admin.md): 20 questions, Confirmé
- [Data Modeling pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-modeling-de.md): 20 questions, Confirmé
- [Fivetran & Airbyte - Ingestion de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/fivetran-airbyte.md): 20 questions, Confirmé
- [dbt - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/dbt-fundamentals-de.md): 20 questions, Confirmé
- [Apache Airflow - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-fundamentals.md): 20 questions, Confirmé
- [Kubernetes - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/kubernetes-fundamentals.md): 20 questions, Confirmé
- [dbt - Fonctionnalités avancées](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/dbt-advanced-de.md): 20 questions, Senior
- [Patterns ETL / ELT / ETLT](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/etl-elt-patterns.md): 20 questions, Senior
- [Apache Airflow - Avancé](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-advanced.md): 20 questions, Senior
- [Airflow + dbt - Orchestration de pipelines](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-dbt-integration.md): 20 questions, Senior
- [Google Pub/Sub - Streaming de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/pubsub-streaming.md): 20 questions, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/apache-beam-dataflow.md): 20 questions, Senior
- [Kubernetes - Production et scaling](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/kubernetes-advanced.md): 20 questions, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/terraform.md): 20 questions, Senior
- [Bases de données NoSQL](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/nosql-databases.md): 20 questions, Senior
- [Architecture Data moderne](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-architecture.md): 20 questions, Senior
- [Monitoring et observabilité](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/monitoring-observability.md): 20 questions, Senior
- [IAM et sécurité des données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/iam-security-de.md): 20 questions, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/pyspark