RNN & Séquences
RNN, LSTM, GRU, vanishing gradient, séries temporelles, prévisions, sequence-to-sequence
1Quelle est la caractéristique principale qui distingue un RNN d'un réseau de neurones feedforward classique ?
Quelle est la caractéristique principale qui distingue un RNN d'un réseau de neurones feedforward classique ?
Réponse
Un RNN possède des connexions récurrentes qui permettent de maintenir un état caché (hidden state) qui évolue au fil du temps. Cet état caché agit comme une mémoire qui capture les informations des entrées précédentes dans la séquence. Contrairement aux réseaux feedforward où chaque entrée est traitée indépendamment, les RNN peuvent modéliser les dépendances temporelles entre les éléments d'une séquence.
2Comment se calcule l'état caché h_t dans un RNN simple (vanilla RNN) à chaque pas de temps ?
Comment se calcule l'état caché h_t dans un RNN simple (vanilla RNN) à chaque pas de temps ?
Réponse
Dans un RNN vanilla, l'état caché h_t est calculé en appliquant une fonction d'activation (généralement tanh) à la combinaison linéaire de l'entrée actuelle x_t pondérée par W_xh et de l'état caché précédent h_{t-1} pondéré par W_hh, plus un biais. Cette formule permet au réseau de combiner l'information nouvelle avec la mémoire des pas de temps précédents.
3Quel est le problème principal du vanishing gradient dans les RNN et quand se manifeste-t-il ?
Quel est le problème principal du vanishing gradient dans les RNN et quand se manifeste-t-il ?
Réponse
Le vanishing gradient se produit lors de la backpropagation through time (BPTT) quand les gradients sont multipliés de nombreuses fois par des valeurs inférieures à 1. Sur de longues séquences, ces gradients deviennent exponentiellement petits, empêchant le réseau d'apprendre les dépendances à long terme. Les poids des premières couches temporelles ne sont pratiquement plus mis à jour.
Quels sont les trois gates (portes) qui composent une cellule LSTM et quel est leur rôle respectif ?
Comment le LSTM résout-il le problème du vanishing gradient par rapport au RNN vanilla ?
+19 questions d'entretien
Autres sujets d'entretien Data Science & ML
Les bases de Python
Programmation Orientée Objet Python
Structures de données Python
Fondamentaux Git
Les bases de SQL
Fondamentaux NumPy
Les bases de Pandas
Jupyter & Google Colab
SQL Joins & Requêtes avancées
Pandas avancé
Visualisation avec Matplotlib & Seaborn
Visualisations interactives avec Plotly
Statistiques descriptives
Statistiques inférentielles
Web Scraping
BigQuery & Cloud Data
Feature Engineering
ML Supervisé : Régression
ML Supervisé : Classification
Arbres de décision & Ensembles
ML Non supervisé
Pipelines ML & Validation
Séries temporelles & Prévisions
Fondamentaux Deep Learning
TensorFlow & Keras
CNN & Classification d'images
Transformers & Attention
NLP & Hugging Face
GenAI & LangChain
MLOps & Déploiement
Maîtrise Data Science & ML pour ton prochain entretien
Accède à toutes les questions, flashcards, tests techniques, exercices de code review et simulateurs d'entretien.
Commencer gratuitement