# NLP & Hugging Face (Data Science & ML) > Tokenization, embeddings, BERT, GPT, Hugging Face Transformers, fine-tuning, pipelines, inference - 24 gespreksvragen - Senior - [Gespreksvragen: Data Science & ML](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen.md) ## 1. Wat is de hoofdfunctie van tokenization in natuurlijke taalverwerking? **Antwoord** Tokenization splitst ruwe tekst in kleinere eenheden genaamd tokens, die woorden, subwoorden of karakters kunnen zijn. Deze stap is essentieel omdat taalmodellen ruwe tekst niet direct kunnen verwerken. Elk token wordt vervolgens omgezet in een numerieke identifier die het model kan verwerken. ## 2. Wat is het belangrijkste voordeel van het BPE-algoritme (Byte Pair Encoding) ten opzichte van tokenization op woordniveau? **Antwoord** BPE behandelt onbekende woorden (out-of-vocabulary) door ze te ontleden in bekende sub-eenheden. In tegenstelling tot tokenization op woordniveau die onbekende woorden vervangt door een speciaal [UNK]-token, kan BPE elk woord vertegenwoordigen als een combinatie van subwoorden die in het vocabulaire voorkomen, waardoor generalisatie naar woorden die nooit tijdens de training zijn gezien mogelijk is. ## 3. Wat is het fundamentele verschil tussen WordPiece en BPE bij het opbouwen van het vocabulaire? **Antwoord** BPE voegt de meest voorkomende tokenparen samen, terwijl WordPiece samenvoegingen kiest die de likelihood van het trainingscorpus maximaliseren. WordPiece gebruikt dus een probabilistisch criterium in plaats van een puur frequentiegebaseerd criterium, wat licht verschillende splitsingen kan opleveren die mogelijk beter geschikt zijn voor het uiteindelijke taalmodel. ## Nog 21 vragen beschikbaar - Wat is het belangrijkste verschil tussen statische word embeddings (Word2Vec) en contextuele embeddings (BERT)? - Wat zijn de twee pre-training taken die door BERT worden gebruikt? Meld je gratis aan: https://sharpskill.dev/nl/login ## Andere Data Science & ML-sollicitatieonderwerpen - [Python-basisbeginselen](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/python-basics.md): 25 vragen, Junior - [Python Objectgeoriënteerd Programmeren](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/python-oop.md): 20 vragen, Junior - [Python-datastructuren](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/python-data-structures.md): 20 vragen, Junior - [Git-Fundamenten](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/git-fundamentals.md): 18 vragen, Junior - [SQL-basisbeginselen](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/sql-basics.md): 20 vragen, Junior - [NumPy-grondbeginselen](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/numpy-fundamentals.md): 22 vragen, Junior - [Pandas-basis](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/pandas-basics.md): 22 vragen, Junior - [Jupyter & Google Colab](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/jupyter-colab.md): 16 vragen, Junior - [SQL Joins & geavanceerde queries](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/sql-joins-advanced.md): 22 vragen, Mid-Level - [Geavanceerd Pandas](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/pandas-advanced.md): 24 vragen, Mid-Level - [Visualisatie met Matplotlib & Seaborn](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/matplotlib-seaborn.md): 20 vragen, Mid-Level - [Interactieve visualisaties met Plotly](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/plotly-interactive.md): 18 vragen, Mid-Level - [Beschrijvende statistiek](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/statistics-descriptive.md): 20 vragen, Mid-Level - [Inferentiële statistiek](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/statistics-inferential.md): 24 vragen, Mid-Level - [Web Scraping](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/web-scraping.md): 18 vragen, Mid-Level - [BigQuery & Cloud Data](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/bigquery-cloud.md): 18 vragen, Mid-Level - [Feature Engineering](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/feature-engineering.md): 22 vragen, Mid-Level - [Supervised ML: Regressie](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/ml-supervised-regression.md): 24 vragen, Mid-Level - [Supervised ML: Classificatie](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/ml-supervised-classification.md): 24 vragen, Mid-Level - [Beslissingsbomen & Ensembles](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/ml-trees-ensembles.md): 24 vragen, Mid-Level - [Ongesuperviseerd ML](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/ml-unsupervised.md): 22 vragen, Mid-Level - [ML Pipelines & Validatie](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/ml-pipelines-validation.md): 22 vragen, Mid-Level - [Tijdreeksen & Voorspelling](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/time-series-forecasting.md): 22 vragen, Mid-Level - [Fundamenten van Deep Learning](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/deep-learning-fundamentals.md): 24 vragen, Senior - [TensorFlow & Keras](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/tensorflow-keras.md): 22 vragen, Senior - [CNN en beeldclassificatie](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/cnn-image-classification.md): 24 vragen, Senior - [RNN & Reeksen](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/rnn-sequences.md): 22 vragen, Senior - [Transformers & Attention](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/transformers-attention.md): 24 vragen, Senior - [GenAI & LangChain](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/genai-langchain.md): 24 vragen, Senior - [MLOps en Deployment](https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/mlops-deployment.md): 24 vragen, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/nl/technologies/data-science/sollicitatievragen/nlp-huggingface