# NLP та Hugging Face (Data Science & ML)

> Tokenization, embeddings, BERT, GPT, Hugging Face Transformers, fine-tuning, pipelines, inference

- 24 питань зі співбесід
- Senior
- [Питання зі співбесід: Data Science & ML](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy.md)

## 1. Яка основна функція tokenization у обробці природної мови?

**Відповідь**

Tokenization розбиває сирий текст на менші одиниці, які називаються токенами, що можуть бути словами, sub-словами або символами. Цей крок є необхідним, оскільки мовні моделі не можуть напряму обробляти сирий текст. Кожен токен потім перетворюється на числовий ідентифікатор, який модель може обробити.

## 2. Яка основна перевага алгоритму BPE (Byte Pair Encoding) над tokenization на рівні слів?

**Відповідь**

BPE обробляє невідомі слова (out-of-vocabulary), розкладаючи їх на відомі підодиниці. На відміну від tokenization на рівні слів, яка замінює невідомі слова спеціальним токеном [UNK], BPE може представити будь-яке слово як комбінацію sub-слів, присутніх у словнику, що дозволяє узагальнювати на слова, ніколи не бачені під час навчання.

## 3. Яка фундаментальна різниця між WordPiece та BPE для побудови словника?

**Відповідь**

BPE об'єднує найчастіші пари токенів, тоді як WordPiece вибирає об'єднання, які максимізують правдоподібність навчального корпусу. Таким чином, WordPiece використовує ймовірнісний критерій, а не чисто частотний, що може створювати дещо інші розбиття, потенційно краще пристосовані до фінальної мовної моделі.

## Ще 21 доступних питань

- Яка основна різниця між статичними word embeddings (Word2Vec) та контекстними embeddings (BERT)?
- Які дві задачі pre-training використовує BERT?

Зареєструйся безкоштовно: https://sharpskill.dev/uk/login

## Інші теми співбесід Data Science & ML

- [Основи Python](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/python-basics.md): 25 запитань, Junior
- [Об'єктно-орієнтоване програмування Python](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/python-oop.md): 20 запитань, Junior
- [Структури даних Python](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/python-data-structures.md): 20 запитань, Junior
- [Основи Git](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/git-fundamentals.md): 18 запитань, Junior
- [Основи SQL](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/sql-basics.md): 20 запитань, Junior
- [Основи NumPy](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/numpy-fundamentals.md): 22 запитань, Junior
- [Основи Pandas](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/pandas-basics.md): 22 запитань, Junior
- [Jupyter & Google Colab](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/jupyter-colab.md): 16 запитань, Junior
- [SQL Joins та розширені запити](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/sql-joins-advanced.md): 22 запитань, Mid-Level
- [Просунутий Pandas](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/pandas-advanced.md): 24 запитань, Mid-Level
- [Візуалізація з Matplotlib & Seaborn](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/matplotlib-seaborn.md): 20 запитань, Mid-Level
- [Інтерактивні візуалізації з Plotly](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/plotly-interactive.md): 18 запитань, Mid-Level
- [Описова статистика](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/statistics-descriptive.md): 20 запитань, Mid-Level
- [Інференційна статистика](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/statistics-inferential.md): 24 запитань, Mid-Level
- [Web Scraping](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/web-scraping.md): 18 запитань, Mid-Level
- [BigQuery & Cloud Data](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/bigquery-cloud.md): 18 запитань, Mid-Level
- [Feature Engineering](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/feature-engineering.md): 22 запитань, Mid-Level
- [Кероване ML: Регресія](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/ml-supervised-regression.md): 24 запитань, Mid-Level
- [Кероване ML: Класифікація](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/ml-supervised-classification.md): 24 запитань, Mid-Level
- [Дерева рішень та ансамблі](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/ml-trees-ensembles.md): 24 запитань, Mid-Level
- [Некероване ML](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/ml-unsupervised.md): 22 запитань, Mid-Level
- [ML Pipelines та валідація](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/ml-pipelines-validation.md): 22 запитань, Mid-Level
- [Часові ряди та прогнозування](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/time-series-forecasting.md): 22 запитань, Mid-Level
- [Основи Deep Learning](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/deep-learning-fundamentals.md): 24 запитань, Senior
- [TensorFlow & Keras](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/tensorflow-keras.md): 22 запитань, Senior
- [CNN та класифікація зображень](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/cnn-image-classification.md): 24 запитань, Senior
- [RNN та послідовності](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/rnn-sequences.md): 22 запитань, Senior
- [Transformers та Attention](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/transformers-attention.md): 24 запитань, Senior
- [GenAI та LangChain](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/genai-langchain.md): 24 запитань, Senior
- [MLOps та розгортання](https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/mlops-deployment.md): 24 запитань, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/uk/technologies/data-science/pytannia-spivbesidy/nlp-huggingface