# Apache Beam & Dataflow (Data Engineering)

> PCollections, transforms (ParDo, GroupByKey), windowing, triggers, watermarks, Dataflow runner, autoskalowanie, templates

- 20 pytań z rozmów
- Senior
- [Pytania z rozmów: Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne.md)

## 1. Czym jest PCollection w Apache Beam?

**Odpowiedź**

PCollection to główna abstrakcja danych w Apache Beam. Reprezentuje rozproszony, potencjalnie nieograniczony zbiór danych, który może być przetwarzany równolegle. W przeciwieństwie do zwykłych kolekcji, PCollection jest niezmienna, co oznacza, że każdy transform tworzy nową PCollection zamiast modyfikować oryginał.

## 2. Jaka jest główna różnica między PCollection bounded a unbounded?

**Odpowiedź**

PCollection bounded ma skończony, znany rozmiar (jak plik lub tabela), podczas gdy unbounded reprezentuje potencjalnie nieskończony strumień danych (jak zdarzenia streamingowe). To rozróżnienie wpływa na sposób przetwarzania danych przez Beam: bounded używa klasycznego przetwarzania batch, podczas gdy unbounded wymaga windowingu i triggerów do obsługi ciągłego przepływu.

## 3. Jaka jest rola transformacji ParDo w Apache Beam?

**Odpowiedź**

ParDo (Parallel Do) to najbardziej elastyczna transformacja w Apache Beam. Stosuje funkcję zdefiniowaną przez użytkownika (DoFn) do każdego elementu PCollection równolegle. ParDo może wytworzyć zero, jeden lub wiele elementów wyjściowych dla każdego elementu wejściowego, co czyni ją odpowiednią do filtrowania, mappingu i flat-mappingu.

## Jeszcze 17 dostępnych pytań

- Jak używać side inputs w transformacji ParDo?
- Jaka jest różnica między GroupByKey a CoGroupByKey w Apache Beam?

Zarejestruj się za darmo: https://sharpskill.dev/pl/login

## Inne tematy rekrutacyjne Data Engineering

- [Linux & Shell - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/linux-shell-basics.md): 20 pytań, Junior
- [Git & GitHub - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/git-github-fundamentals.md): 20 pytań, Junior
- [Zaawansowany Python dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/python-advanced-de.md): 25 pytań, Junior
- [Docker - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/docker-fundamentals.md): 25 pytań, Junior
- [Google Cloud Platform - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/gcp-fundamentals.md): 20 pytań, Junior
- [CI/CD i jakość kodu](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/ci-cd-code-quality.md): 20 pytań, Mid-Level
- [Docker Compose](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/docker-compose.md): 20 pytań, Mid-Level
- [FastAPI - API danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/fastapi.md): 20 pytań, Mid-Level
- [Zaawansowany SQL dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/sql-advanced-de.md): 20 pytań, Mid-Level
- [Data Lake - Architektura i wprowadzanie danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-lake.md): 20 pytań, Mid-Level
- [BigQuery dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/bigquery-de.md): 20 pytań, Mid-Level
- [PostgreSQL - Administracja](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/postgresql-admin.md): 20 pytań, Mid-Level
- [Data Modeling dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-modeling-de.md): 20 pytań, Mid-Level
- [Fivetran & Airbyte - Pozyskiwanie danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/fivetran-airbyte.md): 20 pytań, Mid-Level
- [dbt - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/dbt-fundamentals-de.md): 20 pytań, Mid-Level
- [Apache Airflow - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-fundamentals.md): 20 pytań, Mid-Level
- [Kubernetes - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/kubernetes-fundamentals.md): 20 pytań, Mid-Level
- [dbt - Zaawansowane funkcje](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/dbt-advanced-de.md): 20 pytań, Senior
- [Wzorce ETL / ELT / ETLT](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/etl-elt-patterns.md): 20 pytań, Senior
- [Apache Airflow - Zaawansowany](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-advanced.md): 20 pytań, Senior
- [Airflow + dbt - Orkiestracja pipeline'ów](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-dbt-integration.md): 20 pytań, Senior
- [PySpark - Przetwarzanie na dużą skalę](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/pyspark.md): 20 pytań, Senior
- [Google Pub/Sub - Streaming danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/pubsub-streaming.md): 20 pytań, Senior
- [Kubernetes - Produkcja i skalowanie](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/kubernetes-advanced.md): 20 pytań, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/terraform.md): 20 pytań, Senior
- [Bazy danych NoSQL](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/nosql-databases.md): 20 pytań, Senior
- [Nowoczesna Data Architecture](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-architecture.md): 20 pytań, Senior
- [Monitorowanie i obserwowalność](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/monitoring-observability.md): 20 pytań, Senior
- [IAM i bezpieczeństwo danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/iam-security-de.md): 20 pytań, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/apache-beam-dataflow