# Apache Beam & Dataflow (Data Engineering)

> PCollections, transforms (ParDo, GroupByKey), windowing, triggers, watermarks, Dataflow runner, автомасштабування, templates

- 20 питань зі співбесід
- Senior
- [Питання зі співбесід: Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy.md)

## 1. Що таке PCollection в Apache Beam?

**Відповідь**

PCollection — це основна абстракція даних в Apache Beam. Вона представляє розподілений, потенційно необмежений набір даних, який можна обробляти паралельно. На відміну від звичайних колекцій, PCollection є незмінною, тобто кожен transform створює нову PCollection замість зміни оригіналу.

## 2. У чому головна різниця між bounded і unbounded PCollection?

**Відповідь**

Bounded PCollection має скінченний, відомий розмір (як файл або таблиця), тоді як unbounded представляє потенційно нескінченний потік даних (як потокові події). Ця відмінність впливає на те, як Beam обробляє дані: bounded використовує класичну пакетну обробку, тоді як unbounded потребує windowing і triggers для обробки безперервного потоку.

## 3. Яка роль перетворення ParDo в Apache Beam?

**Відповідь**

ParDo (Parallel Do) — найгнучкіше перетворення в Apache Beam. Воно застосовує визначену користувачем функцію (DoFn) до кожного елемента PCollection паралельно. ParDo може створювати нуль, один або кілька вихідних елементів для кожного вхідного елемента, що робить його придатним для фільтрації, mapping і flat-mapping.

## Ще 17 доступних питань

- Як використовувати side inputs у перетворенні ParDo?
- У чому різниця між GroupByKey і CoGroupByKey в Apache Beam?

Зареєструйся безкоштовно: https://sharpskill.dev/uk/login

## Інші теми співбесід Data Engineering

- [Linux & Shell - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/linux-shell-basics.md): 20 запитань, Junior
- [Git & GitHub - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/git-github-fundamentals.md): 20 запитань, Junior
- [Просунутий Python для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/python-advanced-de.md): 25 запитань, Junior
- [Docker - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/docker-fundamentals.md): 25 запитань, Junior
- [Google Cloud Platform - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/gcp-fundamentals.md): 20 запитань, Junior
- [CI/CD та якість коду](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/ci-cd-code-quality.md): 20 запитань, Mid-Level
- [Docker Compose](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/docker-compose.md): 20 запитань, Mid-Level
- [FastAPI - API даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/fastapi.md): 20 запитань, Mid-Level
- [Просунутий SQL для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/sql-advanced-de.md): 20 запитань, Mid-Level
- [Data Lake - Архітектура та завантаження даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-lake.md): 20 запитань, Mid-Level
- [BigQuery для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/bigquery-de.md): 20 запитань, Mid-Level
- [PostgreSQL - Адміністрування](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/postgresql-admin.md): 20 запитань, Mid-Level
- [Data Modeling для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-modeling-de.md): 20 запитань, Mid-Level
- [Fivetran & Airbyte - Завантаження даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/fivetran-airbyte.md): 20 запитань, Mid-Level
- [dbt - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/dbt-fundamentals-de.md): 20 запитань, Mid-Level
- [Apache Airflow - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-fundamentals.md): 20 запитань, Mid-Level
- [Kubernetes - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/kubernetes-fundamentals.md): 20 запитань, Mid-Level
- [dbt - Розширені можливості](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/dbt-advanced-de.md): 20 запитань, Senior
- [Патерни ETL / ELT / ETLT](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/etl-elt-patterns.md): 20 запитань, Senior
- [Apache Airflow - Просунутий](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-advanced.md): 20 запитань, Senior
- [Airflow + dbt - Оркестрація пайплайнів](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-dbt-integration.md): 20 запитань, Senior
- [PySpark - Великомасштабна обробка](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/pyspark.md): 20 запитань, Senior
- [Google Pub/Sub - Стрімінг даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/pubsub-streaming.md): 20 запитань, Senior
- [Kubernetes - Продакшн та масштабування](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/kubernetes-advanced.md): 20 запитань, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/terraform.md): 20 запитань, Senior
- [Бази даних NoSQL](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/nosql-databases.md): 20 запитань, Senior
- [Сучасна Data Architecture](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-architecture.md): 20 запитань, Senior
- [Моніторинг та спостережуваність](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/monitoring-observability.md): 20 запитань, Senior
- [IAM та безпека даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/iam-security-de.md): 20 запитань, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/apache-beam-dataflow