# Transformers ve Attention (Data Science & ML)

> Attention mekanizması, self-attention, multi-head attention, Transformer mimarisi, positional encoding

- 24 mülakat soruları
- Senior
- [Mülakat Soruları: Data Science & ML](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari.md)

## 1. Sequence işlemede attention mekanizmasının RNN'lere göre temel avantajı nedir?

**Cevap**

Attention mekanizması, sequence içindeki herhangi bir konuma doğrudan erişim sağlar ve RNN'lerin sıralı darboğazını ortadan kaldırır. Bilgiyi adım adım yayması gereken RNN'lerin aksine, attention tüm konumlar arasında doğrudan bağlantılar hesaplar, büyük ölçekli paralelleştirmeyi mümkün kılar ve gradyan bozulması olmadan uzun mesafeli bağımlılıkları yakalar.

## 2. Attention mekanizmasında Query (Q), Key (K) ve Value (V) vektörleri neyi temsil eder?

**Cevap**

Query token'ın aradığı şeyi temsil eder, Key her token'ın eşleşme olarak sunabileceği şeyi temsil eder ve Value alınacak bilgiyi içerir. Attention skoru, göreceli önemi belirlemek için Q ve K arasında hesaplanır, ardından V'leri ağırlıklandırmak için kullanılır. Bu analoji, bir query'nin değerleri almak için anahtarlarla karşılaştırıldığı bilgi alma sistemlerinden gelir.

## 3. Scaled dot-product attention'ın formülü nedir ve neden dk'nın kareköküne bölünür?

**Cevap**

Formül Attention(Q,K,V) = softmax(QK^T / sqrt(dk)) * V'dir. sqrt(dk)'ya bölmek kritiktir çünkü yüksek boyutlu vektörlerin dot product'ları büyük büyüklüklere sahip olma eğilimindedir ve softmax'ı çok küçük gradyanlı bölgelere iter. Bu normalleştirme attention skorlarının kararlı varyansını korur ve verimli öğrenmeyi sağlar.

## 21 soru daha mevcut

- Attention ve self-attention arasındaki temel fark nedir?
- Tek bir attention head yerine neden multi-head attention kullanılır?

Ücretsiz kaydol: https://sharpskill.dev/tr/login

## Diğer Data Science & ML mülakat konuları

- [Python Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/python-basics.md): 25 soru, Junior
- [Python Nesne Yönelimli Programlama](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/python-oop.md): 20 soru, Junior
- [Python Veri Yapıları](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/python-data-structures.md): 20 soru, Junior
- [Git Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/git-fundamentals.md): 18 soru, Junior
- [SQL Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/sql-basics.md): 20 soru, Junior
- [NumPy Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/numpy-fundamentals.md): 22 soru, Junior
- [Pandas Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/pandas-basics.md): 22 soru, Junior
- [Jupyter & Google Colab](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/jupyter-colab.md): 16 soru, Junior
- [SQL Joins ve Gelişmiş Sorgular](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/sql-joins-advanced.md): 22 soru, Mid-Level
- [İleri Pandas](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/pandas-advanced.md): 24 soru, Mid-Level
- [Matplotlib & Seaborn ile Görselleştirme](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/matplotlib-seaborn.md): 20 soru, Mid-Level
- [Plotly ile Etkileşimli Görselleştirmeler](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/plotly-interactive.md): 18 soru, Mid-Level
- [Tanımlayıcı İstatistik](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/statistics-descriptive.md): 20 soru, Mid-Level
- [Çıkarımsal İstatistik](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/statistics-inferential.md): 24 soru, Mid-Level
- [Web Scraping](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/web-scraping.md): 18 soru, Mid-Level
- [BigQuery & Cloud Data](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/bigquery-cloud.md): 18 soru, Mid-Level
- [Feature Engineering](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/feature-engineering.md): 22 soru, Mid-Level
- [Denetimli ML: Regresyon](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/ml-supervised-regression.md): 24 soru, Mid-Level
- [Denetimli ML: Sınıflandırma](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/ml-supervised-classification.md): 24 soru, Mid-Level
- [Karar Ağaçları ve Topluluk Yöntemleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/ml-trees-ensembles.md): 24 soru, Mid-Level
- [Denetimsiz ML](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/ml-unsupervised.md): 22 soru, Mid-Level
- [ML Pipeline'ları & Doğrulama](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/ml-pipelines-validation.md): 22 soru, Mid-Level
- [Zaman Serileri & Tahminleme](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/time-series-forecasting.md): 22 soru, Mid-Level
- [Deep Learning Temelleri](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/deep-learning-fundamentals.md): 24 soru, Senior
- [TensorFlow & Keras](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/tensorflow-keras.md): 22 soru, Senior
- [CNN ve görüntü sınıflandırma](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/cnn-image-classification.md): 24 soru, Senior
- [RNN ve Diziler](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/rnn-sequences.md): 22 soru, Senior
- [NLP ve Hugging Face](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/nlp-huggingface.md): 24 soru, Senior
- [GenAI ve LangChain](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/genai-langchain.md): 24 soru, Senior
- [MLOps ve Dağıtım](https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/mlops-deployment.md): 24 soru, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/tr/technologies/data-science/mulakat-sorulari/transformers-attention