RNN та послідовності
RNN, LSTM, GRU, vanishing gradient, часові ряди, прогнозування, sequence-to-sequence
1Яка головна характеристика відрізняє RNN від класичної feedforward нейронної мережі?
Яка головна характеристика відрізняє RNN від класичної feedforward нейронної мережі?
Відповідь
RNN має рекурентні з'єднання, які підтримують прихований стан (hidden state), що еволюціонує з часом. Цей прихований стан діє як пам'ять, що захоплює інформацію з попередніх входів у послідовності. На відміну від feedforward мереж, де кожен вхід обробляється незалежно, RNN можуть моделювати часові залежності між елементами послідовності.
2Як обчислюється прихований стан h_t у простій RNN (vanilla RNN) на кожному часовому кроці?
Як обчислюється прихований стан h_t у простій RNN (vanilla RNN) на кожному часовому кроці?
Відповідь
У vanilla RNN прихований стан h_t обчислюється шляхом застосування функції активації (зазвичай tanh) до лінійної комбінації поточного входу x_t, зваженого W_xh, та попереднього прихованого стану h_{t-1}, зваженого W_hh, плюс зсув. Ця формула дозволяє мережі поєднувати нову інформацію з пам'яттю попередніх часових кроків.
3Яка основна проблема vanishing gradient у RNN і коли вона виникає?
Яка основна проблема vanishing gradient у RNN і коли вона виникає?
Відповідь
Vanishing gradient виникає під час backpropagation through time (BPTT), коли градієнти багато разів множаться на значення менше 1. На довгих послідовностях ці градієнти стають експоненціально малими, заважаючи мережі навчати довготривалі залежності. Ваги ранніх часових шарів майже не оновлюються.
Які три gate складають клітинку LSTM і яка їхня роль?
Як LSTM вирішує проблему vanishing gradient порівняно з vanilla RNN?
+19 питань зі співбесід
Інші теми співбесід Data Science & ML
Основи Python
Об'єктно-орієнтоване програмування Python
Структури даних Python
Основи Git
Основи SQL
Основи NumPy
Основи Pandas
Jupyter & Google Colab
SQL Joins та розширені запити
Просунутий Pandas
Візуалізація з Matplotlib & Seaborn
Інтерактивні візуалізації з Plotly
Описова статистика
Інференційна статистика
Web Scraping
BigQuery & Cloud Data
Feature Engineering
Кероване ML: Регресія
Кероване ML: Класифікація
Дерева рішень та ансамблі
Некероване ML
ML Pipelines та валідація
Часові ряди та прогнозування
Основи Deep Learning
TensorFlow & Keras
CNN та класифікація зображень
Transformers та Attention
NLP та Hugging Face
GenAI та LangChain
MLOps та розгортання
Опануй Data Science & ML для наступної співбесіди
Отримай доступ до всіх питань, flashcards, технічних тестів, вправ code review та симуляторів співбесід.
Почни безкоштовно