RNN & Reeksen
RNN, LSTM, GRU, vanishing gradient, tijdreeksen, voorspellingen, sequence-to-sequence
1Wat is het belangrijkste kenmerk dat een RNN onderscheidt van een klassiek feedforward neuraal netwerk?
Wat is het belangrijkste kenmerk dat een RNN onderscheidt van een klassiek feedforward neuraal netwerk?
Antwoord
Een RNN heeft recurrente verbindingen die een hidden state behouden die over tijd evolueert. Deze hidden state fungeert als geheugen dat informatie van eerdere invoer in de reeks vastlegt. In tegenstelling tot feedforward netwerken waar elke invoer onafhankelijk wordt verwerkt, kunnen RNN's temporele afhankelijkheden tussen reekselementen modelleren.
2Hoe wordt de hidden state h_t berekend in een eenvoudige RNN (vanilla RNN) bij elke tijdstap?
Hoe wordt de hidden state h_t berekend in een eenvoudige RNN (vanilla RNN) bij elke tijdstap?
Antwoord
In een vanilla RNN wordt de hidden state h_t berekend door een activatiefunctie (meestal tanh) toe te passen op de lineaire combinatie van de huidige invoer x_t gewogen door W_xh en de vorige hidden state h_{t-1} gewogen door W_hh, plus een bias. Deze formule stelt het netwerk in staat om nieuwe informatie te combineren met het geheugen van eerdere tijdstappen.
3Wat is het belangrijkste vanishing gradient probleem in RNN's en wanneer treedt het op?
Wat is het belangrijkste vanishing gradient probleem in RNN's en wanneer treedt het op?
Antwoord
Vanishing gradient treedt op tijdens backpropagation through time (BPTT) wanneer gradiënten vele malen worden vermenigvuldigd met waarden kleiner dan 1. Over lange reeksen worden deze gradiënten exponentieel klein, waardoor het netwerk geen lange-termijn afhankelijkheden kan leren. De gewichten van vroege temporele lagen worden nauwelijks bijgewerkt.
Wat zijn de drie gates die een LSTM-cel vormen en wat is hun respectievelijke rol?
Hoe lost LSTM het vanishing gradient probleem op vergeleken met vanilla RNN?
+19 gespreksvragen
Andere Data Science & ML-sollicitatieonderwerpen
Python-basisbeginselen
Python Objectgeoriënteerd Programmeren
Python-datastructuren
Git-Fundamenten
SQL-basisbeginselen
NumPy-grondbeginselen
Pandas-basis
Jupyter & Google Colab
SQL Joins & geavanceerde queries
Geavanceerd Pandas
Visualisatie met Matplotlib & Seaborn
Interactieve visualisaties met Plotly
Beschrijvende statistiek
Inferentiële statistiek
Web Scraping
BigQuery & Cloud Data
Feature Engineering
Supervised ML: Regressie
Supervised ML: Classificatie
Beslissingsbomen & Ensembles
Ongesuperviseerd ML
ML Pipelines & Validatie
Tijdreeksen & Voorspelling
Fundamenten van Deep Learning
TensorFlow & Keras
CNN en beeldclassificatie
Transformers & Attention
NLP & Hugging Face
GenAI & LangChain
MLOps en Deployment
Beheers Data Science & ML voor je volgende gesprek
Krijg toegang tot alle vragen, flashcards, technische tests, code review-oefeningen en gespreksimulatoren.
Begin gratis