Question 1

Đặc điểm chính phân biệt RNN với mạng nơ-ron feedforward cổ điển là gì?

Accepted Answer

RNN có các kết nối hồi quy duy trì trạng thái ẩn (hidden state) phát triển theo thời gian. Trạng thái ẩn này hoạt động như bộ nhớ thu thập thông tin từ các đầu vào trước đó trong chuỗi. Không giống mạng feedforward nơi mỗi đầu vào được xử lý độc lập, RNN có thể mô hình hóa các phụ thuộc thời gian giữa các phần tử của chuỗi.

Question 2

Trạng thái ẩn h_t được tính như thế nào trong một RNN đơn giản (vanilla RNN) tại mỗi time step?

Accepted Answer

Trong vanilla RNN, trạng thái ẩn h_t được tính bằng cách áp dụng một hàm kích hoạt (thường là tanh) cho tổ hợp tuyến tính của đầu vào hiện tại x_t có trọng số W_xh và trạng thái ẩn trước đó h_{t-1} có trọng số W_hh, cộng với một bias. Công thức này cho phép mạng kết hợp thông tin mới với bộ nhớ từ các time step trước đó.

Question 3

Vấn đề vanishing gradient chính trong RNN là gì và khi nào nó xảy ra?

Accepted Answer

Vanishing gradient xảy ra trong backpropagation through time (BPTT) khi gradient được nhân nhiều lần với các giá trị nhỏ hơn 1. Trên các chuỗi dài, các gradient này trở nên nhỏ theo cấp số nhân, ngăn mạng học các phụ thuộc dài hạn. Trọng số của các lớp thời gian ban đầu hầu như không được cập nhật.

RNN & Chuỗi

Đặc điểm chính phân biệt RNN với mạng nơ-ron feedforward cổ điển là gì?

Câu trả lời

Trạng thái ẩn h_t được tính như thế nào trong một RNN đơn giản (vanilla RNN) tại mỗi time step?

Câu trả lời

Vấn đề vanishing gradient chính trong RNN là gì và khi nào nó xảy ra?

Câu trả lời

Ba gate cấu thành một ô LSTM là gì và vai trò tương ứng của chúng là gì?

LSTM giải quyết vấn đề vanishing gradient như thế nào so với vanilla RNN?

Các chủ đề phỏng vấn Data Science & ML khác

Cơ bản về Python

Lập trình Hướng đối tượng Python

Cấu trúc dữ liệu Python

Kiến Thức Cơ Bản về Git

Cơ bản về SQL

Kiến thức cơ bản về NumPy

Cơ bản về Pandas

Jupyter & Google Colab

SQL Joins & Truy vấn nâng cao

Pandas nâng cao

Trực quan hóa với Matplotlib & Seaborn

Trực quan hóa tương tác với Plotly

Thống kê mô tả

Thống kê suy luận

Web Scraping

BigQuery & Cloud Data

Feature Engineering

ML Có Giám Sát: Hồi Quy

ML Có Giám Sát: Phân Loại

Cây Quyết định & Ensemble

ML Không Giám Sát

Pipeline ML & Xác thực

Chuỗi thời gian & Dự báo

Cơ Bản Về Deep Learning

TensorFlow & Keras

CNN và phân loại hình ảnh

Transformers & Attention

NLP & Hugging Face

GenAI & LangChain

MLOps và Triển khai

Nắm vững Data Science & ML cho lần phỏng vấn tiếp theo