# Transformers และ Attention (Data Science & ML)

> กลไก attention, self-attention, multi-head attention, สถาปัตยกรรม Transformer, positional encoding

- 24 คำถามสัมภาษณ์
- Senior
- [คำถามสัมภาษณ์: Data Science & ML](https://sharpskill.dev/th/technologies/data-science/interview-questions.md)

## 1. ข้อได้เปรียบหลักของกลไก attention เหนือ RNN ในการประมวลผลซีเควนซ์คืออะไร?

**คำตอบ**

กลไก attention อนุญาตให้เข้าถึงตำแหน่งใดๆ ในซีเควนซ์ได้โดยตรง โดยกำจัดคอขวดแบบลำดับของ RNN ต่างจาก RNN ที่ต้องเผยแพร่ข้อมูลทีละขั้น attention คำนวณการเชื่อมต่อโดยตรงระหว่างทุกตำแหน่ง ทำให้สามารถประมวลผลแบบขนานขนาดใหญ่และจับความสัมพันธ์ระยะไกลได้โดยไม่มีการเสื่อมของ gradient

## 2. ในกลไก attention เวกเตอร์ Query (Q), Key (K) และ Value (V) แทนสิ่งใด?

**คำตอบ**

Query แทนสิ่งที่ token กำลังมองหา Key แทนสิ่งที่แต่ละ token สามารถนำเสนอเป็นการจับคู่ และ Value มีข้อมูลที่จะดึงออกมา คะแนน attention คำนวณระหว่าง Q และ K เพื่อกำหนดความสำคัญสัมพัทธ์ จากนั้นใช้เพื่อถ่วงน้ำหนัก V ความคล้ายคลึงนี้มาจากระบบ information retrieval ที่ query ถูกเปรียบเทียบกับ keys เพื่อดึง values

## 3. สูตรของ scaled dot-product attention คืออะไร และทำไมต้องหารด้วยรากที่สองของ dk?

**คำตอบ**

สูตรคือ Attention(Q,K,V) = softmax(QK^T / sqrt(dk)) * V การหารด้วย sqrt(dk) มีความสำคัญเพราะ dot product ของเวกเตอร์มิติสูงมักมีขนาดใหญ่ ทำให้ softmax อยู่ในบริเวณที่มี gradient เล็กมาก การ normalize นี้รักษาความแปรปรวนคงที่ของคะแนน attention เพื่อให้การเรียนรู้มีประสิทธิภาพ

## มีอีก 21 คำถาม

- ความแตกต่างพื้นฐานระหว่าง attention และ self-attention คืออะไร?
- ทำไมต้องใช้ multi-head attention แทน attention head เดียว?

สมัครฟรี: https://sharpskill.dev/th/login

## หัวข้อสัมภาษณ์ Data Science & ML อื่นๆ

- [พื้นฐาน Python](https://sharpskill.dev/th/technologies/data-science/interview-questions/python-basics.md): 25 คำถาม, Junior
- [การเขียนโปรแกรมเชิงวัตถุด้วย Python](https://sharpskill.dev/th/technologies/data-science/interview-questions/python-oop.md): 20 คำถาม, Junior
- [โครงสร้างข้อมูล Python](https://sharpskill.dev/th/technologies/data-science/interview-questions/python-data-structures.md): 20 คำถาม, Junior
- [พื้นฐาน Git](https://sharpskill.dev/th/technologies/data-science/interview-questions/git-fundamentals.md): 18 คำถาม, Junior
- [พื้นฐาน SQL](https://sharpskill.dev/th/technologies/data-science/interview-questions/sql-basics.md): 20 คำถาม, Junior
- [พื้นฐาน NumPy](https://sharpskill.dev/th/technologies/data-science/interview-questions/numpy-fundamentals.md): 22 คำถาม, Junior
- [พื้นฐาน Pandas](https://sharpskill.dev/th/technologies/data-science/interview-questions/pandas-basics.md): 22 คำถาม, Junior
- [Jupyter & Google Colab](https://sharpskill.dev/th/technologies/data-science/interview-questions/jupyter-colab.md): 16 คำถาม, Junior
- [SQL Joins และคิวรีขั้นสูง](https://sharpskill.dev/th/technologies/data-science/interview-questions/sql-joins-advanced.md): 22 คำถาม, Mid-Level
- [Pandas ขั้นสูง](https://sharpskill.dev/th/technologies/data-science/interview-questions/pandas-advanced.md): 24 คำถาม, Mid-Level
- [การแสดงผลข้อมูลด้วย Matplotlib & Seaborn](https://sharpskill.dev/th/technologies/data-science/interview-questions/matplotlib-seaborn.md): 20 คำถาม, Mid-Level
- [การแสดงผลแบบโต้ตอบด้วย Plotly](https://sharpskill.dev/th/technologies/data-science/interview-questions/plotly-interactive.md): 18 คำถาม, Mid-Level
- [สถิติเชิงพรรณนา](https://sharpskill.dev/th/technologies/data-science/interview-questions/statistics-descriptive.md): 20 คำถาม, Mid-Level
- [สถิติเชิงอนุมาน](https://sharpskill.dev/th/technologies/data-science/interview-questions/statistics-inferential.md): 24 คำถาม, Mid-Level
- [Web Scraping](https://sharpskill.dev/th/technologies/data-science/interview-questions/web-scraping.md): 18 คำถาม, Mid-Level
- [BigQuery & Cloud Data](https://sharpskill.dev/th/technologies/data-science/interview-questions/bigquery-cloud.md): 18 คำถาม, Mid-Level
- [Feature Engineering](https://sharpskill.dev/th/technologies/data-science/interview-questions/feature-engineering.md): 22 คำถาม, Mid-Level
- [ML แบบมีผู้สอน: การถดถอย](https://sharpskill.dev/th/technologies/data-science/interview-questions/ml-supervised-regression.md): 24 คำถาม, Mid-Level
- [ML แบบมีผู้สอน: การจำแนกประเภท](https://sharpskill.dev/th/technologies/data-science/interview-questions/ml-supervised-classification.md): 24 คำถาม, Mid-Level
- [Decision Trees และ Ensembles](https://sharpskill.dev/th/technologies/data-science/interview-questions/ml-trees-ensembles.md): 24 คำถาม, Mid-Level
- [Unsupervised ML](https://sharpskill.dev/th/technologies/data-science/interview-questions/ml-unsupervised.md): 22 คำถาม, Mid-Level
- [ML Pipelines และการตรวจสอบ](https://sharpskill.dev/th/technologies/data-science/interview-questions/ml-pipelines-validation.md): 22 คำถาม, Mid-Level
- [Time Series และการพยากรณ์](https://sharpskill.dev/th/technologies/data-science/interview-questions/time-series-forecasting.md): 22 คำถาม, Mid-Level
- [พื้นฐาน Deep Learning](https://sharpskill.dev/th/technologies/data-science/interview-questions/deep-learning-fundamentals.md): 24 คำถาม, Senior
- [TensorFlow & Keras](https://sharpskill.dev/th/technologies/data-science/interview-questions/tensorflow-keras.md): 22 คำถาม, Senior
- [CNN และการจำแนกภาพ](https://sharpskill.dev/th/technologies/data-science/interview-questions/cnn-image-classification.md): 24 คำถาม, Senior
- [RNN และซีเควนซ์](https://sharpskill.dev/th/technologies/data-science/interview-questions/rnn-sequences.md): 22 คำถาม, Senior
- [NLP และ Hugging Face](https://sharpskill.dev/th/technologies/data-science/interview-questions/nlp-huggingface.md): 24 คำถาม, Senior
- [GenAI และ LangChain](https://sharpskill.dev/th/technologies/data-science/interview-questions/genai-langchain.md): 24 คำถาม, Senior
- [MLOps และการ Deploy](https://sharpskill.dev/th/technologies/data-science/interview-questions/mlops-deployment.md): 24 คำถาม, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/th/technologies/data-science/interview-questions/transformers-attention