# Transformers & Attention (Data Science & ML) > Cơ chế attention, self-attention, multi-head attention, kiến trúc Transformer, positional encoding - 24 câu hỏi phỏng vấn - Senior - [Câu hỏi phỏng vấn: Data Science & ML](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van.md) ## 1. Ưu điểm chính của cơ chế attention so với RNN trong xử lý chuỗi là gì? **Câu trả lời** Cơ chế attention cho phép truy cập trực tiếp đến bất kỳ vị trí nào trong chuỗi, loại bỏ nút thắt cổ chai tuần tự của RNN. Không giống như RNN phải truyền thông tin từng bước, attention tính toán các kết nối trực tiếp giữa tất cả các vị trí, cho phép song song hóa quy mô lớn và nắm bắt các phụ thuộc tầm xa mà không bị suy giảm gradient. ## 2. Trong cơ chế attention, các vector Query (Q), Key (K) và Value (V) đại diện cho điều gì? **Câu trả lời** Query đại diện cho điều mà token đang tìm kiếm, Key đại diện cho điều mà mỗi token có thể cung cấp như một sự khớp, và Value chứa thông tin cần truy xuất. Điểm attention được tính giữa Q và K để xác định mức độ quan trọng tương đối, sau đó được sử dụng để gán trọng số cho V. Phép ẩn dụ này đến từ các hệ thống truy xuất thông tin nơi một query được so sánh với các keys để truy xuất values. ## 3. Công thức của scaled dot-product attention là gì và tại sao chia cho căn bậc hai của dk? **Câu trả lời** Công thức là Attention(Q,K,V) = softmax(QK^T / sqrt(dk)) * V. Việc chia cho sqrt(dk) là rất quan trọng vì tích vô hướng của các vector chiều cao có xu hướng có độ lớn cao, đẩy softmax vào các vùng có gradient rất nhỏ. Việc chuẩn hóa này duy trì phương sai ổn định của các điểm attention, đảm bảo học tập hiệu quả. ## Còn 21 câu hỏi nữa - Sự khác biệt cơ bản giữa attention và self-attention là gì? - Tại sao sử dụng multi-head attention thay vì một attention head duy nhất? Đăng ký miễn phí: https://sharpskill.dev/vi/login ## Các chủ đề phỏng vấn Data Science & ML khác - [Cơ bản về Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-basics.md): 25 câu hỏi, Junior - [Lập trình Hướng đối tượng Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-oop.md): 20 câu hỏi, Junior - [Cấu trúc dữ liệu Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-data-structures.md): 20 câu hỏi, Junior - [Kiến Thức Cơ Bản về Git](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/git-fundamentals.md): 18 câu hỏi, Junior - [Cơ bản về SQL](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/sql-basics.md): 20 câu hỏi, Junior - [Kiến thức cơ bản về NumPy](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/numpy-fundamentals.md): 22 câu hỏi, Junior - [Cơ bản về Pandas](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/pandas-basics.md): 22 câu hỏi, Junior - [Jupyter & Google Colab](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/jupyter-colab.md): 16 câu hỏi, Junior - [SQL Joins & Truy vấn nâng cao](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/sql-joins-advanced.md): 22 câu hỏi, Mid-Level - [Pandas nâng cao](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/pandas-advanced.md): 24 câu hỏi, Mid-Level - [Trực quan hóa với Matplotlib & Seaborn](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/matplotlib-seaborn.md): 20 câu hỏi, Mid-Level - [Trực quan hóa tương tác với Plotly](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/plotly-interactive.md): 18 câu hỏi, Mid-Level - [Thống kê mô tả](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/statistics-descriptive.md): 20 câu hỏi, Mid-Level - [Thống kê suy luận](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/statistics-inferential.md): 24 câu hỏi, Mid-Level - [Web Scraping](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/web-scraping.md): 18 câu hỏi, Mid-Level - [BigQuery & Cloud Data](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/bigquery-cloud.md): 18 câu hỏi, Mid-Level - [Feature Engineering](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/feature-engineering.md): 22 câu hỏi, Mid-Level - [ML Có Giám Sát: Hồi Quy](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-supervised-regression.md): 24 câu hỏi, Mid-Level - [ML Có Giám Sát: Phân Loại](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-supervised-classification.md): 24 câu hỏi, Mid-Level - [Cây Quyết định & Ensemble](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-trees-ensembles.md): 24 câu hỏi, Mid-Level - [ML Không Giám Sát](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-unsupervised.md): 22 câu hỏi, Mid-Level - [Pipeline ML & Xác thực](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-pipelines-validation.md): 22 câu hỏi, Mid-Level - [Chuỗi thời gian & Dự báo](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/time-series-forecasting.md): 22 câu hỏi, Mid-Level - [Cơ Bản Về Deep Learning](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/deep-learning-fundamentals.md): 24 câu hỏi, Senior - [TensorFlow & Keras](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/tensorflow-keras.md): 22 câu hỏi, Senior - [CNN và phân loại hình ảnh](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/cnn-image-classification.md): 24 câu hỏi, Senior - [RNN & Chuỗi](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/rnn-sequences.md): 22 câu hỏi, Senior - [NLP & Hugging Face](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/nlp-huggingface.md): 24 câu hỏi, Senior - [GenAI & LangChain](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/genai-langchain.md): 24 câu hỏi, Senior - [MLOps và Triển khai](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/mlops-deployment.md): 24 câu hỏi, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/transformers-attention