RNNとシーケンス
RNN、LSTM、GRU、vanishing gradient、時系列、予測、sequence-to-sequence
22 面接問題·
Senior
1RNNを従来のフィードフォワードニューラルネットワークと区別する主な特徴は何ですか？
1
RNNを従来のフィードフォワードニューラルネットワークと区別する主な特徴は何ですか？
回答
RNNは時間とともに進化する隠れ状態（hidden state）を維持する再帰的な接続を持っています。この隠れ状態は、シーケンス内の以前の入力からの情報を捕捉するメモリとして機能します。各入力が独立して処理されるフィードフォワードネットワークとは異なり、RNNはシーケンス要素間の時間的依存関係をモデル化できます。
2シンプルなRNN（vanilla RNN）では、各タイムステップで隠れ状態h_tはどのように計算されますか？
2
シンプルなRNN（vanilla RNN）では、各タイムステップで隠れ状態h_tはどのように計算されますか？
回答
vanilla RNNでは、隠れ状態h_tは、W_xhで重み付けされた現在の入力x_tとW_hhで重み付けされた前の隠れ状態h_{t-1}の線形結合にバイアスを加えたものに、活性化関数（通常はtanh）を適用することで計算されます。この式により、ネットワークは新しい情報と前のタイムステップのメモリを組み合わせることができます。
3RNNにおける主なvanishing gradient問題とは何で、いつ発生しますか？
3
RNNにおける主なvanishing gradient問題とは何で、いつ発生しますか？
回答
vanishing gradientは、backpropagation through time（BPTT）中に、勾配が1未満の値で何度も乗算されるときに発生します。長いシーケンスでは、これらの勾配は指数関数的に小さくなり、ネットワークが長期的な依存関係を学習できなくなります。初期の時間レイヤーの重みはほとんど更新されません。
4
LSTMセルを構成する3つのゲートは何で、それぞれの役割は何ですか？
5
LSTMは、vanilla RNNと比較してvanishing gradientの問題をどのように解決しますか？
+19 面接問題
その他のData Science & ML面接トピック
Pythonの基礎
Junior
25問Pythonオブジェクト指向プログラミング
Junior
20問Pythonのデータ構造
Junior
20問Git の基礎
Junior
18問SQLの基礎
Junior
20問NumPyの基礎
Junior
22問Pandasの基礎
Junior
22問Jupyter & Google Colab
Junior
16問SQL Joinsと高度なクエリ
Mid-Level
22問Pandas応用
Mid-Level
24問Matplotlib & Seabornによる可視化
Mid-Level
20問Plotlyによるインタラクティブな可視化
Mid-Level
18問記述統計
Mid-Level
20問推測統計学
Mid-Level
24問Web Scraping
Mid-Level
18問BigQuery & Cloud Data
Mid-Level
18問Feature Engineering
Mid-Level
22問教師あり機械学習：回帰
Mid-Level
24問教師あり機械学習：分類
Mid-Level
24問決定木とアンサンブル
Mid-Level
24問教師なしML
Mid-Level
22問MLパイプラインと検証
Mid-Level
22問時系列と予測
Mid-Level
22問Deep Learningの基礎
Senior
24問TensorFlow & Keras
Senior
22問CNN と画像分類
Senior
24問TransformersとAttention
Senior
24問NLPとHugging Face
Senior
24問GenAIとLangChain
Senior
24問MLOps とデプロイ
Senior
24問