# Transformers & Attention (Data Science & ML)

> Attention-Mechanismus, Self-Attention, Multi-Head Attention, Transformer-Architektur, Positional Encoding

- 24 Interview-Fragen
- Senior
- [Interview-Fragen: Data Science & ML](https://sharpskill.dev/de/technologies/data-science/interviewfragen.md)

## 1. Was ist der Hauptvorteil des Attention-Mechanismus gegenüber RNNs für die Sequenzverarbeitung?

**Antwort**

Der Attention-Mechanismus ermöglicht direkten Zugriff auf jede Position in der Sequenz und beseitigt den sequenziellen Engpass von RNNs. Anders als RNNs, die Informationen Schritt für Schritt propagieren müssen, berechnet Attention direkte Verbindungen zwischen allen Positionen, ermöglicht massive Parallelisierung und erfasst Langstreckenabhängigkeiten ohne Gradientendegradation.

## 2. Was repräsentieren die Query (Q), Key (K) und Value (V) Vektoren im Attention-Mechanismus?

**Antwort**

Query repräsentiert, was der Token sucht, Key repräsentiert, was jeder Token als Übereinstimmung anbieten kann, und Value enthält die abzurufende Information. Der Attention-Score wird zwischen Q und K berechnet, um relative Wichtigkeit zu bestimmen, dann zur Gewichtung der V verwendet. Diese Analogie stammt aus Information-Retrieval-Systemen, in denen eine Query mit Keys verglichen wird, um Values abzurufen.

## 3. Wie lautet die Formel für Scaled Dot-Product Attention und warum durch die Wurzel von dk dividieren?

**Antwort**

Die Formel lautet Attention(Q,K,V) = softmax(QK^T / sqrt(dk)) * V. Die Division durch sqrt(dk) ist entscheidend, da Skalarprodukte hochdimensionaler Vektoren tendenziell große Magnituden haben und Softmax in Bereiche mit sehr kleinen Gradienten drängen. Diese Normalisierung erhält eine stabile Varianz der Attention-Scores und gewährleistet effizientes Lernen.

## 21 weitere Fragen verfügbar

- Was ist der grundlegende Unterschied zwischen Attention und Self-Attention?
- Warum Multi-Head Attention statt eines einzelnen Attention-Heads verwenden?

Kostenlos registrieren: https://sharpskill.dev/de/login

## Weitere Data Science & ML-Interviewthemen

- [Python-Grundlagen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/python-basics.md): 25 Fragen, Junior
- [Python Objektorientierte Programmierung](https://sharpskill.dev/de/technologies/data-science/interviewfragen/python-oop.md): 20 Fragen, Junior
- [Python-Datenstrukturen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/python-data-structures.md): 20 Fragen, Junior
- [Git-Grundlagen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/git-fundamentals.md): 18 Fragen, Junior
- [SQL-Grundlagen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/sql-basics.md): 20 Fragen, Junior
- [NumPy-Grundlagen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/numpy-fundamentals.md): 22 Fragen, Junior
- [Pandas-Grundlagen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/pandas-basics.md): 22 Fragen, Junior
- [Jupyter & Google Colab](https://sharpskill.dev/de/technologies/data-science/interviewfragen/jupyter-colab.md): 16 Fragen, Junior
- [SQL Joins & fortgeschrittene Abfragen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/sql-joins-advanced.md): 22 Fragen, Mid-Level
- [Fortgeschrittenes Pandas](https://sharpskill.dev/de/technologies/data-science/interviewfragen/pandas-advanced.md): 24 Fragen, Mid-Level
- [Visualisierung mit Matplotlib & Seaborn](https://sharpskill.dev/de/technologies/data-science/interviewfragen/matplotlib-seaborn.md): 20 Fragen, Mid-Level
- [Interaktive Visualisierungen mit Plotly](https://sharpskill.dev/de/technologies/data-science/interviewfragen/plotly-interactive.md): 18 Fragen, Mid-Level
- [Deskriptive Statistik](https://sharpskill.dev/de/technologies/data-science/interviewfragen/statistics-descriptive.md): 20 Fragen, Mid-Level
- [Inferenzstatistik](https://sharpskill.dev/de/technologies/data-science/interviewfragen/statistics-inferential.md): 24 Fragen, Mid-Level
- [Web Scraping](https://sharpskill.dev/de/technologies/data-science/interviewfragen/web-scraping.md): 18 Fragen, Mid-Level
- [BigQuery & Cloud Data](https://sharpskill.dev/de/technologies/data-science/interviewfragen/bigquery-cloud.md): 18 Fragen, Mid-Level
- [Feature Engineering](https://sharpskill.dev/de/technologies/data-science/interviewfragen/feature-engineering.md): 22 Fragen, Mid-Level
- [Überwachtes ML: Regression](https://sharpskill.dev/de/technologies/data-science/interviewfragen/ml-supervised-regression.md): 24 Fragen, Mid-Level
- [Überwachtes ML: Klassifikation](https://sharpskill.dev/de/technologies/data-science/interviewfragen/ml-supervised-classification.md): 24 Fragen, Mid-Level
- [Entscheidungsbäume & Ensembles](https://sharpskill.dev/de/technologies/data-science/interviewfragen/ml-trees-ensembles.md): 24 Fragen, Mid-Level
- [Unüberwachtes ML](https://sharpskill.dev/de/technologies/data-science/interviewfragen/ml-unsupervised.md): 22 Fragen, Mid-Level
- [ML-Pipelines & Validierung](https://sharpskill.dev/de/technologies/data-science/interviewfragen/ml-pipelines-validation.md): 22 Fragen, Mid-Level
- [Zeitreihen & Prognosen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/time-series-forecasting.md): 22 Fragen, Mid-Level
- [Grundlagen des Deep Learning](https://sharpskill.dev/de/technologies/data-science/interviewfragen/deep-learning-fundamentals.md): 24 Fragen, Senior
- [TensorFlow & Keras](https://sharpskill.dev/de/technologies/data-science/interviewfragen/tensorflow-keras.md): 22 Fragen, Senior
- [CNN und Bildklassifizierung](https://sharpskill.dev/de/technologies/data-science/interviewfragen/cnn-image-classification.md): 24 Fragen, Senior
- [RNN & Sequenzen](https://sharpskill.dev/de/technologies/data-science/interviewfragen/rnn-sequences.md): 22 Fragen, Senior
- [NLP & Hugging Face](https://sharpskill.dev/de/technologies/data-science/interviewfragen/nlp-huggingface.md): 24 Fragen, Senior
- [GenAI & LangChain](https://sharpskill.dev/de/technologies/data-science/interviewfragen/genai-langchain.md): 24 Fragen, Senior
- [MLOps und Deployment](https://sharpskill.dev/de/technologies/data-science/interviewfragen/mlops-deployment.md): 24 Fragen, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/de/technologies/data-science/interviewfragen/transformers-attention