RNN & Sequenzen
RNN, LSTM, GRU, Vanishing Gradient, Zeitreihen, Vorhersagen, Sequence-to-Sequence
1Was ist das Hauptmerkmal, das ein RNN von einem klassischen Feedforward-Neuronalen Netzwerk unterscheidet?
Was ist das Hauptmerkmal, das ein RNN von einem klassischen Feedforward-Neuronalen Netzwerk unterscheidet?
Antwort
Ein RNN besitzt rekurrente Verbindungen, die einen Hidden State aufrechterhalten, der sich über die Zeit entwickelt. Dieser Hidden State fungiert als Speicher, der Informationen aus vorherigen Eingaben der Sequenz erfasst. Im Gegensatz zu Feedforward-Netzwerken, bei denen jede Eingabe unabhängig verarbeitet wird, können RNN zeitliche Abhängigkeiten zwischen Sequenzelementen modellieren.
2Wie wird der Hidden State h_t in einem einfachen RNN (vanilla RNN) bei jedem Zeitschritt berechnet?
Wie wird der Hidden State h_t in einem einfachen RNN (vanilla RNN) bei jedem Zeitschritt berechnet?
Antwort
In einem vanilla RNN wird der Hidden State h_t berechnet, indem eine Aktivierungsfunktion (üblicherweise tanh) auf die lineare Kombination der aktuellen Eingabe x_t gewichtet mit W_xh und des vorherigen Hidden State h_{t-1} gewichtet mit W_hh angewendet wird, plus einem Bias. Diese Formel ermöglicht es dem Netzwerk, neue Informationen mit dem Speicher früherer Zeitschritte zu kombinieren.
3Was ist das Hauptproblem des Vanishing Gradient in RNN und wann tritt es auf?
Was ist das Hauptproblem des Vanishing Gradient in RNN und wann tritt es auf?
Antwort
Vanishing Gradient tritt während der Backpropagation Through Time (BPTT) auf, wenn Gradienten viele Male mit Werten kleiner als 1 multipliziert werden. Bei langen Sequenzen werden diese Gradienten exponentiell klein, was das Netzwerk daran hindert, Langzeitabhängigkeiten zu lernen. Die Gewichte der frühen zeitlichen Schichten werden kaum aktualisiert.
Was sind die drei Gates, aus denen eine LSTM-Zelle besteht, und welche Rolle haben sie jeweils?
Wie löst LSTM das Vanishing-Gradient-Problem im Vergleich zu vanilla RNN?
+19 Interview-Fragen
Weitere Data Science & ML-Interviewthemen
Python-Grundlagen
Python Objektorientierte Programmierung
Python-Datenstrukturen
Git-Grundlagen
SQL-Grundlagen
NumPy-Grundlagen
Pandas-Grundlagen
Jupyter & Google Colab
SQL Joins & fortgeschrittene Abfragen
Fortgeschrittenes Pandas
Visualisierung mit Matplotlib & Seaborn
Interaktive Visualisierungen mit Plotly
Deskriptive Statistik
Inferenzstatistik
Web Scraping
BigQuery & Cloud Data
Feature Engineering
Überwachtes ML: Regression
Überwachtes ML: Klassifikation
Entscheidungsbäume & Ensembles
Unüberwachtes ML
ML-Pipelines & Validierung
Zeitreihen & Prognosen
Grundlagen des Deep Learning
TensorFlow & Keras
CNN und Bildklassifizierung
Transformers & Attention
NLP & Hugging Face
GenAI & LangChain
MLOps und Deployment
Meistere Data Science & ML für dein nächstes Interview
Zugang zu allen Fragen, Flashcards, technischen Tests, Code-Review-Übungen und Interview-Simulatoren.
Kostenlos starten