Question 1

Welcher Befehl zeigt das aktuelle Arbeitsverzeichnis in einem Linux-Terminal an?

Accepted Answer

Der Befehl pwd (print working directory) zeigt den absoluten Pfad des aktuellen Verzeichnisses an. Er ist wesentlich, um sich im Dateibaum zu orientieren, insbesondere beim Navigieren zwischen mehreren Ordnern oder in Bash-Skripten.

Question 2

Welcher Befehl initialisiert ein neues Git-Repository in einem bestehenden Verzeichnis?

Accepted Answer

Der Befehl git init erstellt ein neues Git-Repository im aktuellen Verzeichnis, indem das .git-Unterverzeichnis initialisiert wird, das alle für die Versionierung erforderlichen Dateien enthält. Dieser Befehl ist der erste Schritt, um Änderungen in einem bestehenden Projekt zu verfolgen.

Question 3

Was ist eine Klasse in Python?

Accepted Answer

Eine Klasse ist eine Vorlage (Blueprint), die Struktur und Verhalten von Objekten definiert. Sie kapselt Daten (Attribute) und Funktionen (Methoden), die mit diesen Daten arbeiten. Klassen ermöglichen das Erstellen mehrerer Instanzen, die dieselbe Struktur, aber unterschiedliche Werte haben, was für die objektorientierte Programmierung grundlegend ist.

Question 4

Was ist ein Docker-Container?

Accepted Answer

Ein Docker-Container ist eine ausführbare Instanz eines Docker-Images. Er kapselt eine Anwendung und alle ihre Abhängigkeiten in einer isolierten und portablen Umgebung. Im Gegensatz zu virtuellen Maschinen teilen sich Container den Kernel des Host-Systems, was sie viel leichter und schneller startbar macht. Jeder Container verfügt über ein eigenes Dateisystem, einen eigenen Netzwerk-Stack und eigene isolierte Prozesse.

Question 5

Was ist ein Data Lake?

Accepted Answer

Ein Data Lake ist ein zentrales Speichersystem, das Rohdaten in ihrem nativen Format speichern kann, ob strukturiert, semistrukturiert oder unstrukturiert. Im Gegensatz zum Data Warehouse, das ein Schema beim Schreiben erzwingt (schema-on-write), wendet ein Data Lake das Schema beim Lesen an (schema-on-read) und bietet maximale Flexibilität für Datenexploration und -analyse.

Question 6

Welche Speicherarchitektur verwendet BigQuery?

Accepted Answer

BigQuery verwendet eine Serverless-Architektur mit spaltenbasiertem Speicher namens Capacitor. Diese Architektur trennt Speicher und Compute, was unabhängige Skalierung und separate Abrechnung ermöglicht. Spaltenbasierter Speicher ist für analytische Abfragen optimiert, da nur die benötigten Spalten gelesen werden, was den I/O erheblich reduziert.

Question 7

Welche PostgreSQL-Konfigurationsdatei enthält die wichtigsten Serverparameter wie shared_buffers und work_mem?

Accepted Answer

Die Datei postgresql.conf enthält die wichtigsten PostgreSQL-Serverkonfigurationsparameter, einschließlich Speicherzuweisungen (shared_buffers, work_mem), Verbindungseinstellungen, Logging und Performance-Tuning. Diese Datei wird beim Serverstart gelesen und einige Parameter erfordern einen vollständigen Neustart, um wirksam zu werden.

Question 8

Was ist in dbt der Hauptzweck von Jinja-Makros?

Accepted Answer

Jinja-Makros ermöglichen die Wiederverwendung von Code über mehrere dbt-Modelle hinweg. Sie funktionieren wie Funktionen, die Parameter akzeptieren und dynamisch generierten SQL-Code zurückgeben. Dies vermeidet Code-Duplikation und erleichtert die Wartung komplexer Transformationen im gesamten Projekt.

Question 9

Was ist der Hauptunterschied zwischen ETL und ELT?

Accepted Answer

Bei ETL (Extract-Transform-Load) werden die Daten auf einem Zwischenserver transformiert, bevor sie ins Ziel geladen werden. Bei ELT (Extract-Load-Transform) werden Rohdaten zunächst ins Ziel (typischerweise ein Cloud-Data-Warehouse) geladen und dann direkt dort mit dessen Rechenleistung transformiert. ELT ist mit Cloud-Data-Warehouses wie BigQuery, Snowflake oder Redshift populär geworden, die elastische Rechenleistung bieten.

Question 10

Was ist die Hauptaufgabe eines Sensors in Apache Airflow?

Accepted Answer

Ein Sensor ist ein spezieller Operator, der auf eine Bedingung wartet, bevor die DAG-Ausführung fortgesetzt wird. Er prüft periodisch (poke), ob die Bedingung erfüllt ist, wie etwa Dateiankunft, Partitionsverfügbarkeit oder der Zustand einer anderen Aufgabe. Sensors sind unverzichtbar für die Orchestrierung von Workflows, die von externen Ereignissen abhängen.

Data Engineering Interview-Fragen

Bereit für dein Data Engineering-Interview?

Alle Data Engineering-Themen entdecken

Linux & Shell - Grundlagen

Git & GitHub - Grundlagen

Fortgeschrittenes Python für Data Engineering

Docker - Grundlagen

Google Cloud Platform - Grundlagen

CI/CD und Codequalität

Docker Compose

FastAPI - Daten-APIs

Fortgeschrittenes SQL für Data Engineering

Data Lake - Architektur und Ingestion

BigQuery für Data Engineering

PostgreSQL - Administration

Data Modeling für Data Engineering

Fivetran & Airbyte - Daten-Ingestion

dbt - Grundlagen

Apache Airflow - Grundlagen

Kubernetes - Grundlagen

dbt - Erweiterte Funktionen

ETL- / ELT- / ETLT-Patterns

Apache Airflow - Fortgeschritten

Airflow + dbt - Pipeline-Orchestrierung

PySpark - Verarbeitung im großen Maßstab

Google Pub/Sub - Daten-Streaming

Apache Beam & Dataflow

Kubernetes - Produktion und Skalierung

Terraform - Infrastructure as Code

NoSQL-Datenbanken

Moderne Data Architecture

Monitoring und Observability

IAM und Datensicherheit

Data Engineering-Jobs in Zahlen

Wo die Data Engineering-Stellen sind

Der Data Engineering-Stellenmarkt heute

Meistere Data Engineering für dein nächstes Interview