Transformers & Attention
Cơ chế attention, self-attention, multi-head attention, kiến trúc Transformer, positional encoding
1Ưu điểm chính của cơ chế attention so với RNN trong xử lý chuỗi là gì?
Ưu điểm chính của cơ chế attention so với RNN trong xử lý chuỗi là gì?
Câu trả lời
Cơ chế attention cho phép truy cập trực tiếp đến bất kỳ vị trí nào trong chuỗi, loại bỏ nút thắt cổ chai tuần tự của RNN. Không giống như RNN phải truyền thông tin từng bước, attention tính toán các kết nối trực tiếp giữa tất cả các vị trí, cho phép song song hóa quy mô lớn và nắm bắt các phụ thuộc tầm xa mà không bị suy giảm gradient.
2Trong cơ chế attention, các vector Query (Q), Key (K) và Value (V) đại diện cho điều gì?
Trong cơ chế attention, các vector Query (Q), Key (K) và Value (V) đại diện cho điều gì?
Câu trả lời
Query đại diện cho điều mà token đang tìm kiếm, Key đại diện cho điều mà mỗi token có thể cung cấp như một sự khớp, và Value chứa thông tin cần truy xuất. Điểm attention được tính giữa Q và K để xác định mức độ quan trọng tương đối, sau đó được sử dụng để gán trọng số cho V. Phép ẩn dụ này đến từ các hệ thống truy xuất thông tin nơi một query được so sánh với các keys để truy xuất values.
3Công thức của scaled dot-product attention là gì và tại sao chia cho căn bậc hai của dk?
Công thức của scaled dot-product attention là gì và tại sao chia cho căn bậc hai của dk?
Câu trả lời
Công thức là Attention(Q,K,V) = softmax(QK^T / sqrt(dk)) * V. Việc chia cho sqrt(dk) là rất quan trọng vì tích vô hướng của các vector chiều cao có xu hướng có độ lớn cao, đẩy softmax vào các vùng có gradient rất nhỏ. Việc chuẩn hóa này duy trì phương sai ổn định của các điểm attention, đảm bảo học tập hiệu quả.
Sự khác biệt cơ bản giữa attention và self-attention là gì?
Tại sao sử dụng multi-head attention thay vì một attention head duy nhất?
+21 câu hỏi phỏng vấn
Các chủ đề phỏng vấn Data Science & ML khác
Cơ bản về Python
Lập trình Hướng đối tượng Python
Cấu trúc dữ liệu Python
Kiến Thức Cơ Bản về Git
Cơ bản về SQL
Kiến thức cơ bản về NumPy
Cơ bản về Pandas
Jupyter & Google Colab
SQL Joins & Truy vấn nâng cao
Pandas nâng cao
Trực quan hóa với Matplotlib & Seaborn
Trực quan hóa tương tác với Plotly
Thống kê mô tả
Thống kê suy luận
Web Scraping
BigQuery & Cloud Data
Feature Engineering
ML Có Giám Sát: Hồi Quy
ML Có Giám Sát: Phân Loại
Cây Quyết định & Ensemble
ML Không Giám Sát
Pipeline ML & Xác thực
Chuỗi thời gian & Dự báo
Cơ Bản Về Deep Learning
TensorFlow & Keras
CNN và phân loại hình ảnh
RNN & Chuỗi
NLP & Hugging Face
GenAI & LangChain
MLOps và Triển khai
Nắm vững Data Science & ML cho lần phỏng vấn tiếp theo
Truy cập tất cả câu hỏi, flashcards, bài kiểm tra kỹ thuật, bài tập code review và mô phỏng phỏng vấn.
Bắt đầu miễn phí