# PySpark - Przetwarzanie na dużą skalę (Data Engineering)

> SparkSession, RDD vs DataFrame, transformations, actions, partitioning, broadcast variables, UDF, Spark SQL, caching

- 20 pytań z rozmów
- Senior
- [Pytania z rozmów: Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne.md)

## 1. Jaki jest główny punkt wejścia do tworzenia aplikacji PySpark?

**Odpowiedź**

SparkSession to ujednolicony punkt wejścia wprowadzony w Spark 2.0. Zastępuje stare SparkContext, SQLContext i HiveContext jednym obiektem. SparkSession umożliwia tworzenie DataFrame'ów, wykonywanie zapytań SQL oraz scentralizowane konfigurowanie aplikacji Spark.

## 2. Jaka jest fundamentalna różnica między RDD a DataFrame w PySpark?

**Odpowiedź**

DataFrame ma ustrukturyzowany schemat z nazwanymi i typowanymi kolumnami, co pozwala Spark optymalizować zapytania poprzez Catalyst. RDD to nieustrukturyzowana rozproszona kolekcja, w której Spark nie zna wewnętrznej struktury danych, ograniczając możliwe optymalizacje.

## 3. Jaka jest różnica między transformation a action w PySpark?

**Odpowiedź**

Transformacje są oceniane leniwie (lazy) i budują plan wykonania bez wyzwalania obliczeń. Akcje wyzwalają faktyczne wykonanie planu na klastrze i zwracają wynik do drivera. To rozróżnienie pozwala Sparkowi optymalizować plan przed wykonaniem.

## Jeszcze 17 dostępnych pytań

- Która z poniższych operacji jest action w PySpark?
- Jak utworzyć DataFrame z pliku Parquet w PySpark?

Zarejestruj się za darmo: https://sharpskill.dev/pl/login

## Inne tematy rekrutacyjne Data Engineering

- [Linux & Shell - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/linux-shell-basics.md): 20 pytań, Junior
- [Git & GitHub - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/git-github-fundamentals.md): 20 pytań, Junior
- [Zaawansowany Python dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/python-advanced-de.md): 25 pytań, Junior
- [Docker - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/docker-fundamentals.md): 25 pytań, Junior
- [Google Cloud Platform - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/gcp-fundamentals.md): 20 pytań, Junior
- [CI/CD i jakość kodu](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/ci-cd-code-quality.md): 20 pytań, Mid-Level
- [Docker Compose](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/docker-compose.md): 20 pytań, Mid-Level
- [FastAPI - API danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/fastapi.md): 20 pytań, Mid-Level
- [Zaawansowany SQL dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/sql-advanced-de.md): 20 pytań, Mid-Level
- [Data Lake - Architektura i wprowadzanie danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-lake.md): 20 pytań, Mid-Level
- [BigQuery dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/bigquery-de.md): 20 pytań, Mid-Level
- [PostgreSQL - Administracja](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/postgresql-admin.md): 20 pytań, Mid-Level
- [Data Modeling dla Data Engineering](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-modeling-de.md): 20 pytań, Mid-Level
- [Fivetran & Airbyte - Pozyskiwanie danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/fivetran-airbyte.md): 20 pytań, Mid-Level
- [dbt - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/dbt-fundamentals-de.md): 20 pytań, Mid-Level
- [Apache Airflow - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-fundamentals.md): 20 pytań, Mid-Level
- [Kubernetes - Podstawy](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/kubernetes-fundamentals.md): 20 pytań, Mid-Level
- [dbt - Zaawansowane funkcje](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/dbt-advanced-de.md): 20 pytań, Senior
- [Wzorce ETL / ELT / ETLT](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/etl-elt-patterns.md): 20 pytań, Senior
- [Apache Airflow - Zaawansowany](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-advanced.md): 20 pytań, Senior
- [Airflow + dbt - Orkiestracja pipeline'ów](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/airflow-dbt-integration.md): 20 pytań, Senior
- [Google Pub/Sub - Streaming danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/pubsub-streaming.md): 20 pytań, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/apache-beam-dataflow.md): 20 pytań, Senior
- [Kubernetes - Produkcja i skalowanie](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/kubernetes-advanced.md): 20 pytań, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/terraform.md): 20 pytań, Senior
- [Bazy danych NoSQL](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/nosql-databases.md): 20 pytań, Senior
- [Nowoczesna Data Architecture](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/data-architecture.md): 20 pytań, Senior
- [Monitorowanie i obserwowalność](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/monitoring-observability.md): 20 pytań, Senior
- [IAM i bezpieczeństwo danych](https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/iam-security-de.md): 20 pytań, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/pl/technologies/data-engineering/pytania-rekrutacyjne/pyspark