# Apache Beam & Dataflow (Data Engineering)

> PCollections, transforms (ParDo, GroupByKey), windowing, triggers, watermarks, Dataflow runner, autoscaling, templates

- 20 questions d'entretien
- Senior
- [Questions d'entretien: Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien.md)

## 1. Qu'est-ce qu'une PCollection dans Apache Beam ?

**Réponse**

Une PCollection est l'abstraction de données principale dans Apache Beam. Elle représente un ensemble distribué et potentiellement illimité de données qui peut être traité en parallèle. Contrairement aux collections classiques, une PCollection est immuable, ce qui signifie que chaque transformation crée une nouvelle PCollection plutôt que de modifier l'originale.

## 2. Quelle est la différence principale entre une PCollection bounded et unbounded ?

**Réponse**

Une PCollection bounded a une taille finie et connue (comme un fichier ou une table), tandis qu'une unbounded représente un flux de données potentiellement infini (comme des événements en streaming). Cette distinction affecte la façon dont Beam traite les données : bounded utilise le traitement batch classique, tandis que unbounded nécessite du windowing et des triggers pour gérer le flux continu.

## 3. Quel est le rôle de la transformation ParDo dans Apache Beam ?

**Réponse**

ParDo (Parallel Do) est la transformation la plus flexible d'Apache Beam. Elle applique une fonction définie par l'utilisateur (DoFn) à chaque élément d'une PCollection en parallèle. ParDo peut produire zéro, un ou plusieurs éléments en sortie pour chaque élément en entrée, ce qui la rend adaptée au filtrage, mapping, et flat-mapping.

## 17 questions supplémentaires disponibles

- Comment utiliser les side inputs dans une transformation ParDo ?
- Quelle est la différence entre GroupByKey et CoGroupByKey dans Apache Beam ?

S'inscrire gratuitement: https://sharpskill.dev/fr/login

## Autres sujets d'entretien Data Engineering

- [Linux & Shell - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/linux-shell-basics.md): 20 questions, Junior
- [Git & GitHub - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/git-github-fundamentals.md): 20 questions, Junior
- [Python avancé pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/python-advanced-de.md): 25 questions, Junior
- [Docker - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/docker-fundamentals.md): 25 questions, Junior
- [Google Cloud Platform - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/gcp-fundamentals.md): 20 questions, Junior
- [CI/CD et qualité de code](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/ci-cd-code-quality.md): 20 questions, Confirmé
- [Docker Compose](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/docker-compose.md): 20 questions, Confirmé
- [FastAPI - APIs de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/fastapi.md): 20 questions, Confirmé
- [SQL avancé pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/sql-advanced-de.md): 20 questions, Confirmé
- [Data Lake - Architecture et ingestion](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-lake.md): 20 questions, Confirmé
- [BigQuery pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/bigquery-de.md): 20 questions, Confirmé
- [PostgreSQL - Administration](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/postgresql-admin.md): 20 questions, Confirmé
- [Data Modeling pour le Data Engineering](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-modeling-de.md): 20 questions, Confirmé
- [Fivetran & Airbyte - Ingestion de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/fivetran-airbyte.md): 20 questions, Confirmé
- [dbt - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/dbt-fundamentals-de.md): 20 questions, Confirmé
- [Apache Airflow - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-fundamentals.md): 20 questions, Confirmé
- [Kubernetes - Fondamentaux](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/kubernetes-fundamentals.md): 20 questions, Confirmé
- [dbt - Fonctionnalités avancées](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/dbt-advanced-de.md): 20 questions, Senior
- [Patterns ETL / ELT / ETLT](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/etl-elt-patterns.md): 20 questions, Senior
- [Apache Airflow - Avancé](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-advanced.md): 20 questions, Senior
- [Airflow + dbt - Orchestration de pipelines](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/airflow-dbt-integration.md): 20 questions, Senior
- [PySpark - Traitement à grande échelle](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/pyspark.md): 20 questions, Senior
- [Google Pub/Sub - Streaming de données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/pubsub-streaming.md): 20 questions, Senior
- [Kubernetes - Production et scaling](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/kubernetes-advanced.md): 20 questions, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/terraform.md): 20 questions, Senior
- [Bases de données NoSQL](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/nosql-databases.md): 20 questions, Senior
- [Architecture Data moderne](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/data-architecture.md): 20 questions, Senior
- [Monitoring et observabilité](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/monitoring-observability.md): 20 questions, Senior
- [IAM et sécurité des données](https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/iam-security-de.md): 20 questions, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/fr/technologies/data-engineering/questions-entretien/apache-beam-dataflow