RNN 및 시퀀스
RNN, LSTM, GRU, vanishing gradient, 시계열, 예측, sequence-to-sequence
22 면접 질문·
Senior
1RNN을 일반적인 피드포워드 신경망과 구별하는 주요 특징은 무엇입니까?
1
RNN을 일반적인 피드포워드 신경망과 구별하는 주요 특징은 무엇입니까?
답변
RNN은 시간이 지남에 따라 변화하는 hidden state를 유지하는 순환 연결을 가지고 있습니다. 이 hidden state는 시퀀스의 이전 입력 정보를 포착하는 메모리 역할을 합니다. 각 입력이 독립적으로 처리되는 피드포워드 네트워크와 달리, RNN은 시퀀스 요소 간의 시간적 종속성을 모델링할 수 있습니다.
2단순 RNN(vanilla RNN)에서 각 타임 스텝의 hidden state h_t는 어떻게 계산됩니까?
2
단순 RNN(vanilla RNN)에서 각 타임 스텝의 hidden state h_t는 어떻게 계산됩니까?
답변
vanilla RNN에서 hidden state h_t는 W_xh로 가중치가 부여된 현재 입력 x_t와 W_hh로 가중치가 부여된 이전 hidden state h_{t-1}의 선형 결합에 bias를 더한 값에 활성화 함수(보통 tanh)를 적용하여 계산됩니다. 이 공식을 통해 네트워크는 새로운 정보와 이전 타임 스텝의 메모리를 결합할 수 있습니다.
3RNN에서 주요한 vanishing gradient 문제는 무엇이며 언제 발생합니까?
3
RNN에서 주요한 vanishing gradient 문제는 무엇이며 언제 발생합니까?
답변
vanishing gradient는 backpropagation through time(BPTT) 중에 그래디언트가 1보다 작은 값으로 여러 번 곱해질 때 발생합니다. 긴 시퀀스에서 이러한 그래디언트는 기하급수적으로 작아지며, 네트워크가 장기 종속성을 학습하는 것을 방해합니다. 초기 시간 레이어의 가중치는 거의 업데이트되지 않습니다.
4
LSTM 셀을 구성하는 세 가지 게이트는 무엇이며 각각의 역할은 무엇입니까?
5
LSTM은 vanilla RNN과 비교하여 vanishing gradient 문제를 어떻게 해결합니까?
+19 면접 질문
기타 Data Science & ML 면접 주제
Python 기초
Junior
25개 질문Python 객체 지향 프로그래밍
Junior
20개 질문Python 데이터 구조
Junior
20개 질문Git 기초
Junior
18개 질문SQL 기초
Junior
20개 질문NumPy 기초
Junior
22개 질문Pandas 기초
Junior
22개 질문Jupyter & Google Colab
Junior
16개 질문SQL Joins 및 고급 쿼리
Mid-Level
22개 질문Pandas 고급
Mid-Level
24개 질문Matplotlib & Seaborn을 활용한 시각화
Mid-Level
20개 질문Plotly로 만드는 인터랙티브 시각화
Mid-Level
18개 질문기술 통계
Mid-Level
20개 질문추론 통계학
Mid-Level
24개 질문Web Scraping
Mid-Level
18개 질문BigQuery & Cloud Data
Mid-Level
18개 질문Feature Engineering
Mid-Level
22개 질문지도 머신러닝: 회귀
Mid-Level
24개 질문지도 머신러닝: 분류
Mid-Level
24개 질문결정 트리 및 앙상블
Mid-Level
24개 질문비지도 ML
Mid-Level
22개 질문ML 파이프라인 및 검증
Mid-Level
22개 질문시계열 및 예측
Mid-Level
22개 질문Deep Learning 기초
Senior
24개 질문TensorFlow & Keras
Senior
22개 질문CNN 및 이미지 분류
Senior
24개 질문Transformers 및 Attention
Senior
24개 질문NLP 및 Hugging Face
Senior
24개 질문GenAI 및 LangChain
Senior
24개 질문MLOps 및 배포
Senior
24개 질문