# NLP y Hugging Face (Data Science & ML) > Tokenization, embeddings, BERT, GPT, Hugging Face Transformers, fine-tuning, pipelines, inference - 24 preguntas de entrevista - Senior - [Preguntas de entrevista: Data Science & ML](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista.md) ## 1. ¿Cuál es la función principal de la tokenization en el procesamiento del lenguaje natural? **Respuesta** La tokenization divide el texto bruto en unidades más pequeñas llamadas tokens, que pueden ser palabras, sub-palabras o caracteres. Este paso es esencial porque los modelos de lenguaje no pueden procesar directamente texto bruto. Cada token se convierte luego en un identificador numérico que el modelo puede procesar. ## 2. ¿Cuál es la principal ventaja del algoritmo BPE (Byte Pair Encoding) frente a la tokenization por palabras? **Respuesta** BPE permite gestionar las palabras desconocidas (out-of-vocabulary) descomponiéndolas en sub-unidades conocidas. A diferencia de la tokenization por palabras que reemplaza las palabras desconocidas con un token especial [UNK], BPE puede representar cualquier palabra como una combinación de sub-palabras presentes en el vocabulario, permitiendo así generalizar a palabras nunca vistas durante el entrenamiento. ## 3. ¿Cuál es la diferencia fundamental entre WordPiece y BPE para la construcción del vocabulario? **Respuesta** BPE fusiona los pares de tokens más frecuentes, mientras que WordPiece elige las fusiones que maximizan la verosimilitud del corpus de entrenamiento. WordPiece utiliza así un criterio probabilístico en lugar de puramente frecuencial, lo que puede producir divisiones ligeramente diferentes y potencialmente más adaptadas al modelo de lenguaje final. ## 21 preguntas más disponibles - ¿Cuál es la diferencia principal entre los word embeddings estáticos (Word2Vec) y los embeddings contextuales (BERT)? - ¿Cuáles son las dos tareas de pre-entrenamiento utilizadas por BERT? Regístrate gratis: https://sharpskill.dev/es/login ## Otros temas de entrevista Data Science & ML - [Fundamentos de Python](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/python-basics.md): 25 preguntas, Junior - [Programación Orientada a Objetos en Python](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/python-oop.md): 20 preguntas, Junior - [Estructuras de datos en Python](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/python-data-structures.md): 20 preguntas, Junior - [Fundamentos de Git](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/git-fundamentals.md): 18 preguntas, Junior - [Fundamentos de SQL](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/sql-basics.md): 20 preguntas, Junior - [Fundamentos de NumPy](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/numpy-fundamentals.md): 22 preguntas, Junior - [Fundamentos de Pandas](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/pandas-basics.md): 22 preguntas, Junior - [Jupyter & Google Colab](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/jupyter-colab.md): 16 preguntas, Junior - [SQL Joins y consultas avanzadas](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/sql-joins-advanced.md): 22 preguntas, Mid-Level - [Pandas avanzado](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/pandas-advanced.md): 24 preguntas, Mid-Level - [Visualización con Matplotlib & Seaborn](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/matplotlib-seaborn.md): 20 preguntas, Mid-Level - [Visualizaciones interactivas con Plotly](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/plotly-interactive.md): 18 preguntas, Mid-Level - [Estadística descriptiva](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/statistics-descriptive.md): 20 preguntas, Mid-Level - [Estadística inferencial](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/statistics-inferential.md): 24 preguntas, Mid-Level - [Web Scraping](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/web-scraping.md): 18 preguntas, Mid-Level - [BigQuery & Cloud Data](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/bigquery-cloud.md): 18 preguntas, Mid-Level - [Feature Engineering](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/feature-engineering.md): 22 preguntas, Mid-Level - [ML Supervisado: Regresión](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/ml-supervised-regression.md): 24 preguntas, Mid-Level - [ML Supervisado: Clasificación](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/ml-supervised-classification.md): 24 preguntas, Mid-Level - [Árboles de Decisión y Ensembles](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/ml-trees-ensembles.md): 24 preguntas, Mid-Level - [ML No Supervisado](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/ml-unsupervised.md): 22 preguntas, Mid-Level - [Pipelines ML y Validación](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/ml-pipelines-validation.md): 22 preguntas, Mid-Level - [Series Temporales y Pronóstico](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/time-series-forecasting.md): 22 preguntas, Mid-Level - [Fundamentos de Deep Learning](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/deep-learning-fundamentals.md): 24 preguntas, Senior - [TensorFlow & Keras](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/tensorflow-keras.md): 22 preguntas, Senior - [CNN y clasificación de imágenes](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/cnn-image-classification.md): 24 preguntas, Senior - [RNN y Secuencias](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/rnn-sequences.md): 22 preguntas, Senior - [Transformers y Attention](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/transformers-attention.md): 24 preguntas, Senior - [GenAI y LangChain](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/genai-langchain.md): 24 preguntas, Senior - [MLOps y Despliegue](https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/mlops-deployment.md): 24 preguntas, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/es/technologies/data-science/preguntas-entrevista/nlp-huggingface