RNN และซีเควนซ์
RNN, LSTM, GRU, vanishing gradient, อนุกรมเวลา, การพยากรณ์, sequence-to-sequence
1ลักษณะหลักที่แยก RNN ออกจาก neural network แบบ feedforward ทั่วไปคืออะไร?
ลักษณะหลักที่แยก RNN ออกจาก neural network แบบ feedforward ทั่วไปคืออะไร?
คำตอบ
RNN มี recurrent connections ที่รักษา hidden state ที่พัฒนาตามเวลา hidden state นี้ทำหน้าที่เป็นหน่วยความจำที่จับข้อมูลจาก input ก่อนหน้าใน sequence แตกต่างจาก feedforward networks ที่แต่ละ input ถูกประมวลผลแยกกัน RNN สามารถสร้างแบบจำลองความสัมพันธ์ทางเวลาระหว่างองค์ประกอบของ sequence
2hidden state h_t ถูกคำนวณอย่างไรใน RNN แบบง่าย (vanilla RNN) ในแต่ละ time step?
hidden state h_t ถูกคำนวณอย่างไรใน RNN แบบง่าย (vanilla RNN) ในแต่ละ time step?
คำตอบ
ใน vanilla RNN, hidden state h_t ถูกคำนวณโดยใช้ activation function (โดยทั่วไปคือ tanh) กับ linear combination ของ input ปัจจุบัน x_t ถ่วงน้ำหนักด้วย W_xh และ hidden state ก่อนหน้า h_{t-1} ถ่วงน้ำหนักด้วย W_hh บวกกับ bias สูตรนี้ช่วยให้เครือข่ายรวมข้อมูลใหม่กับ memory จาก time steps ก่อนหน้า
3ปัญหาหลักของ vanishing gradient ใน RNN คืออะไร และเกิดขึ้นเมื่อใด?
ปัญหาหลักของ vanishing gradient ใน RNN คืออะไร และเกิดขึ้นเมื่อใด?
คำตอบ
vanishing gradient เกิดขึ้นระหว่าง backpropagation through time (BPTT) เมื่อ gradients ถูกคูณหลายครั้งด้วยค่าที่น้อยกว่า 1 ใน sequences ยาว gradients เหล่านี้จะเล็กลงแบบ exponential ขัดขวางไม่ให้เครือข่ายเรียนรู้ long-term dependencies น้ำหนักของ temporal layers แรกๆ แทบจะไม่ได้รับการอัปเดต
สาม gates ที่ประกอบเป็น LSTM cell คืออะไรและบทบาทของแต่ละตัวคืออะไร?
LSTM แก้ปัญหา vanishing gradient อย่างไรเมื่อเทียบกับ vanilla RNN?
+19 คำถามสัมภาษณ์
หัวข้อสัมภาษณ์ Data Science & ML อื่นๆ
พื้นฐาน Python
การเขียนโปรแกรมเชิงวัตถุด้วย Python
โครงสร้างข้อมูล Python
พื้นฐาน Git
พื้นฐาน SQL
พื้นฐาน NumPy
พื้นฐาน Pandas
Jupyter & Google Colab
SQL Joins และคิวรีขั้นสูง
Pandas ขั้นสูง
การแสดงผลข้อมูลด้วย Matplotlib & Seaborn
การแสดงผลแบบโต้ตอบด้วย Plotly
สถิติเชิงพรรณนา
สถิติเชิงอนุมาน
Web Scraping
BigQuery & Cloud Data
Feature Engineering
ML แบบมีผู้สอน: การถดถอย
ML แบบมีผู้สอน: การจำแนกประเภท
Decision Trees และ Ensembles
Unsupervised ML
ML Pipelines และการตรวจสอบ
Time Series และการพยากรณ์
พื้นฐาน Deep Learning
TensorFlow & Keras
CNN และการจำแนกภาพ
Transformers และ Attention
NLP และ Hugging Face
GenAI และ LangChain
MLOps และการ Deploy
เชี่ยวชาญ Data Science & ML สำหรับการสัมภาษณ์ครั้งถัดไป
เข้าถึงคำถามทั้งหมด flashcards แบบทดสอบเทคนิค แบบฝึกหัด code review และตัวจำลองสัมภาษณ์
เริ่มใช้ฟรี