# NLPとHugging Face (Data Science & ML) > Tokenization、embeddings、BERT、GPT、Hugging Face Transformers、fine-tuning、pipelines、inference - 24 面接問題 - Senior - [面接問題: Data Science & ML](https://sharpskill.dev/ja/technologies/data-science/interview-questions.md) ## 1. 自然言語処理における tokenization の主な機能は何ですか？ **回答** Tokenizationは、生のテキストをトークンと呼ばれる小さな単位に分割します。これらは単語、サブワード、または文字である可能性があります。このステップは、言語モデルが生のテキストを直接処理できないため不可欠です。各トークンは、モデルが処理できる数値識別子に変換されます。 ## 2. 単語レベルの tokenization に対する BPE (Byte Pair Encoding) アルゴリズムの主な利点は何ですか？ **回答** BPEは、未知の単語（out-of-vocabulary）を既知のサブユニットに分解することで処理します。未知の単語を特殊な [UNK] トークンに置き換える単語レベルの tokenization とは異なり、BPEは語彙に含まれるサブワードの組み合わせとして任意の単語を表現でき、トレーニング中に見たことのない単語にも汎化できます。 ## 3. 語彙構築における WordPiece と BPE の根本的な違いは何ですか？ **回答** BPEは最も頻繁なトークンペアをマージしますが、WordPieceはトレーニングコーパスの尤度を最大化するマージを選択します。したがって、WordPieceは純粋な頻度よりも確率的基準を使用し、わずかに異なる分割を生成し、最終的な言語モデルにより適している可能性があります。 ## さらに21問利用可能 - 静的な word embeddings (Word2Vec) と文脈的な embeddings (BERT) の主な違いは何ですか？ - BERTで使用される2つの事前学習タスクは何ですか？ 無料で登録: https://sharpskill.dev/ja/login ## その他のData Science & ML面接トピック - [Pythonの基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/python-basics.md): 25問, Junior - [Pythonオブジェクト指向プログラミング](https://sharpskill.dev/ja/technologies/data-science/interview-questions/python-oop.md): 20問, Junior - [Pythonのデータ構造](https://sharpskill.dev/ja/technologies/data-science/interview-questions/python-data-structures.md): 20問, Junior - [Git の基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/git-fundamentals.md): 18問, Junior - [SQLの基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/sql-basics.md): 20問, Junior - [NumPyの基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/numpy-fundamentals.md): 22問, Junior - [Pandasの基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/pandas-basics.md): 22問, Junior - [Jupyter & Google Colab](https://sharpskill.dev/ja/technologies/data-science/interview-questions/jupyter-colab.md): 16問, Junior - [SQL Joinsと高度なクエリ](https://sharpskill.dev/ja/technologies/data-science/interview-questions/sql-joins-advanced.md): 22問, Mid-Level - [Pandas応用](https://sharpskill.dev/ja/technologies/data-science/interview-questions/pandas-advanced.md): 24問, Mid-Level - [Matplotlib & Seabornによる可視化](https://sharpskill.dev/ja/technologies/data-science/interview-questions/matplotlib-seaborn.md): 20問, Mid-Level - [Plotlyによるインタラクティブな可視化](https://sharpskill.dev/ja/technologies/data-science/interview-questions/plotly-interactive.md): 18問, Mid-Level - [記述統計](https://sharpskill.dev/ja/technologies/data-science/interview-questions/statistics-descriptive.md): 20問, Mid-Level - [推測統計学](https://sharpskill.dev/ja/technologies/data-science/interview-questions/statistics-inferential.md): 24問, Mid-Level - [Web Scraping](https://sharpskill.dev/ja/technologies/data-science/interview-questions/web-scraping.md): 18問, Mid-Level - [BigQuery & Cloud Data](https://sharpskill.dev/ja/technologies/data-science/interview-questions/bigquery-cloud.md): 18問, Mid-Level - [Feature Engineering](https://sharpskill.dev/ja/technologies/data-science/interview-questions/feature-engineering.md): 22問, Mid-Level - [教師あり機械学習：回帰](https://sharpskill.dev/ja/technologies/data-science/interview-questions/ml-supervised-regression.md): 24問, Mid-Level - [教師あり機械学習：分類](https://sharpskill.dev/ja/technologies/data-science/interview-questions/ml-supervised-classification.md): 24問, Mid-Level - [決定木とアンサンブル](https://sharpskill.dev/ja/technologies/data-science/interview-questions/ml-trees-ensembles.md): 24問, Mid-Level - [教師なしML](https://sharpskill.dev/ja/technologies/data-science/interview-questions/ml-unsupervised.md): 22問, Mid-Level - [MLパイプラインと検証](https://sharpskill.dev/ja/technologies/data-science/interview-questions/ml-pipelines-validation.md): 22問, Mid-Level - [時系列と予測](https://sharpskill.dev/ja/technologies/data-science/interview-questions/time-series-forecasting.md): 22問, Mid-Level - [Deep Learningの基礎](https://sharpskill.dev/ja/technologies/data-science/interview-questions/deep-learning-fundamentals.md): 24問, Senior - [TensorFlow & Keras](https://sharpskill.dev/ja/technologies/data-science/interview-questions/tensorflow-keras.md): 22問, Senior - [CNN と画像分類](https://sharpskill.dev/ja/technologies/data-science/interview-questions/cnn-image-classification.md): 24問, Senior - [RNNとシーケンス](https://sharpskill.dev/ja/technologies/data-science/interview-questions/rnn-sequences.md): 22問, Senior - [TransformersとAttention](https://sharpskill.dev/ja/technologies/data-science/interview-questions/transformers-attention.md): 24問, Senior - [GenAIとLangChain](https://sharpskill.dev/ja/technologies/data-science/interview-questions/genai-langchain.md): 24問, Senior - [MLOps とデプロイ](https://sharpskill.dev/ja/technologies/data-science/interview-questions/mlops-deployment.md): 24問, Senior --- Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack. HTML version of this page: https://sharpskill.dev/ja/technologies/data-science/interview-questions/nlp-huggingface