RNN i Sekwencje
RNN, LSTM, GRU, vanishing gradient, szeregi czasowe, prognozowanie, sequence-to-sequence
1Jaka jest główna cecha odróżniająca RNN od klasycznej sieci neuronowej feedforward?
Jaka jest główna cecha odróżniająca RNN od klasycznej sieci neuronowej feedforward?
Odpowiedź
RNN posiada połączenia rekurencyjne, które utrzymują hidden state ewoluujący w czasie. Ten hidden state działa jak pamięć przechwytująca informacje z poprzednich wejść w sekwencji. W przeciwieństwie do sieci feedforward, gdzie każde wejście jest przetwarzane niezależnie, RNN potrafią modelować zależności czasowe między elementami sekwencji.
2Jak obliczany jest hidden state h_t w prostym RNN (vanilla RNN) w każdym kroku czasowym?
Jak obliczany jest hidden state h_t w prostym RNN (vanilla RNN) w każdym kroku czasowym?
Odpowiedź
W vanilla RNN hidden state h_t jest obliczany przez zastosowanie funkcji aktywacji (zwykle tanh) do liniowej kombinacji bieżącego wejścia x_t ważonego przez W_xh i poprzedniego hidden state h_{t-1} ważonego przez W_hh, plus bias. Ten wzór pozwala sieci łączyć nowe informacje z pamięcią poprzednich kroków czasowych.
3Jaki jest główny problem vanishing gradient w RNN i kiedy się pojawia?
Jaki jest główny problem vanishing gradient w RNN i kiedy się pojawia?
Odpowiedź
Vanishing gradient występuje podczas backpropagation through time (BPTT), gdy gradienty są wielokrotnie mnożone przez wartości mniejsze niż 1. Na długich sekwencjach gradienty te stają się wykładniczo małe, uniemożliwiając sieci uczenie się zależności długoterminowych. Wagi wczesnych warstw czasowych są prawie nieaktualizowane.
Jakie są trzy bramki tworzące komórkę LSTM i jaka jest ich rola?
Jak LSTM rozwiązuje problem vanishing gradient w porównaniu z vanilla RNN?
+19 pytań z rozmów
Inne tematy rekrutacyjne Data Science & ML
Podstawy Pythona
Programowanie Obiektowe w Pythonie
Struktury danych Python
Podstawy Git
Podstawy SQL
Podstawy NumPy
Podstawy Pandas
Jupyter & Google Colab
SQL Joins i zaawansowane zapytania
Zaawansowany Pandas
Wizualizacja z Matplotlib & Seaborn
Interaktywne wizualizacje z Plotly
Statystyka opisowa
Statystyka inferencyjna
Web Scraping
BigQuery & Cloud Data
Feature Engineering
Uczenie nadzorowane: Regresja
Uczenie nadzorowane: Klasyfikacja
Drzewa Decyzyjne i Ensembles
ML Nienadzorowane
Pipeline'y ML i walidacja
Szeregi czasowe i prognozowanie
Podstawy Deep Learning
TensorFlow & Keras
CNN i klasyfikacja obrazów
Transformers i Attention
NLP i Hugging Face
GenAI i LangChain
MLOps i Wdrożenie
Opanuj Data Science & ML na następną rozmowę
Uzyskaj dostęp do wszystkich pytań, flashcards, testów technicznych, ćwiczeń code review i symulatorów rozmów.
Zacznij za darmo