# NLP & Hugging Face (Data Science & ML) > Tokenization, embeddings, BERT, GPT, Hugging Face Transformers, fine-tuning, pipelines, inference - 24 câu hỏi phỏng vấn - Senior - [Câu hỏi phỏng vấn: Data Science & ML](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van.md) ## 1. Chức năng chính của tokenization trong xử lý ngôn ngữ tự nhiên là gì? **Câu trả lời** Tokenization chia văn bản thô thành các đơn vị nhỏ hơn được gọi là token, có thể là từ, sub-word hoặc ký tự. Bước này rất cần thiết vì các mô hình ngôn ngữ không thể xử lý trực tiếp văn bản thô. Mỗi token sau đó được chuyển đổi thành một định danh số mà mô hình có thể xử lý. ## 2. Ưu điểm chính của thuật toán BPE (Byte Pair Encoding) so với tokenization cấp từ là gì? **Câu trả lời** BPE xử lý các từ không xác định (out-of-vocabulary) bằng cách phân tách chúng thành các sub-unit đã biết. Khác với tokenization cấp từ thay thế các từ không xác định bằng token đặc biệt [UNK], BPE có thể biểu diễn bất kỳ từ nào dưới dạng tổ hợp các sub-word có trong từ vựng, cho phép khái quát hóa cho các từ chưa bao giờ thấy trong quá trình huấn luyện. ## 3. Sự khác biệt cơ bản giữa WordPiece và BPE để xây dựng từ vựng là gì? **Câu trả lời** BPE hợp nhất các cặp token thường xuyên nhất, trong khi WordPiece chọn các hợp nhất tối đa hóa khả năng của corpus huấn luyện. Do đó, WordPiece sử dụng tiêu chí xác suất thay vì thuần túy theo tần suất, có thể tạo ra các phân chia hơi khác và có khả năng phù hợp hơn với mô hình ngôn ngữ cuối cùng. ## Còn 21 câu hỏi nữa - Sự khác biệt chính giữa word embeddings tĩnh (Word2Vec) và embeddings ngữ cảnh (BERT) là gì? - Hai nhiệm vụ pre-training mà BERT sử dụng là gì? Đăng ký miễn phí: https://sharpskill.dev/vi/login ## Các chủ đề phỏng vấn Data Science & ML khác - [Cơ bản về Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-basics.md): 25 câu hỏi, Junior - [Lập trình Hướng đối tượng Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-oop.md): 20 câu hỏi, Junior - [Cấu trúc dữ liệu Python](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/python-data-structures.md): 20 câu hỏi, Junior - [Kiến Thức Cơ Bản về Git](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/git-fundamentals.md): 18 câu hỏi, Junior - [Cơ bản về SQL](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/sql-basics.md): 20 câu hỏi, Junior - [Kiến thức cơ bản về NumPy](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/numpy-fundamentals.md): 22 câu hỏi, Junior - [Cơ bản về Pandas](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/pandas-basics.md): 22 câu hỏi, Junior - [Jupyter & Google Colab](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/jupyter-colab.md): 16 câu hỏi, Junior - [SQL Joins & Truy vấn nâng cao](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/sql-joins-advanced.md): 22 câu hỏi, Mid-Level - [Pandas nâng cao](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/pandas-advanced.md): 24 câu hỏi, Mid-Level - [Trực quan hóa với Matplotlib & Seaborn](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/matplotlib-seaborn.md): 20 câu hỏi, Mid-Level - [Trực quan hóa tương tác với Plotly](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/plotly-interactive.md): 18 câu hỏi, Mid-Level - [Thống kê mô tả](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/statistics-descriptive.md): 20 câu hỏi, Mid-Level - [Thống kê suy luận](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/statistics-inferential.md): 24 câu hỏi, Mid-Level - [Web Scraping](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/web-scraping.md): 18 câu hỏi, Mid-Level - [BigQuery & Cloud Data](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/bigquery-cloud.md): 18 câu hỏi, Mid-Level - [Feature Engineering](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/feature-engineering.md): 22 câu hỏi, Mid-Level - [ML Có Giám Sát: Hồi Quy](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-supervised-regression.md): 24 câu hỏi, Mid-Level - [ML Có Giám Sát: Phân Loại](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-supervised-classification.md): 24 câu hỏi, Mid-Level - [Cây Quyết định & Ensemble](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-trees-ensembles.md): 24 câu hỏi, Mid-Level - [ML Không Giám Sát](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-unsupervised.md): 22 câu hỏi, Mid-Level - [Pipeline ML & Xác thực](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/ml-pipelines-validation.md): 22 câu hỏi, Mid-Level - [Chuỗi thời gian & Dự báo](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/time-series-forecasting.md): 22 câu hỏi, Mid-Level - [Cơ Bản Về Deep Learning](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/deep-learning-fundamentals.md): 24 câu hỏi, Senior - [TensorFlow & Keras](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/tensorflow-keras.md): 22 câu hỏi, Senior - [CNN và phân loại hình ảnh](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/cnn-image-classification.md): 24 câu hỏi, Senior - [RNN & Chuỗi](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/rnn-sequences.md): 22 câu hỏi, Senior - [Transformers & Attention](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/transformers-attention.md): 24 câu hỏi, Senior - [GenAI & LangChain](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/genai-langchain.md): 24 câu hỏi, Senior - [MLOps và Triển khai](https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/mlops-deployment.md): 24 câu hỏi, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/vi/technologies/data-science/cau-hoi-phong-van/nlp-huggingface