รูปแบบ ETL / ELT / ETLT
ETL vs ELT vs ETLT, batch vs micro-batch vs streaming, idempotence, การจัดการข้อผิดพลาด, dead letter queue, คุณภาพข้อมูล, lineage
1ความแตกต่างหลักระหว่าง ETL และ ELT คืออะไร?
ความแตกต่างหลักระหว่าง ETL และ ELT คืออะไร?
คำตอบ
ใน ETL (Extract-Transform-Load) ข้อมูลจะถูกแปลงบนเซิร์ฟเวอร์ตัวกลางก่อนที่จะถูกโหลดเข้าสู่ปลายทาง ใน ELT (Extract-Load-Transform) ข้อมูลดิบจะถูกโหลดเข้าสู่ปลายทางก่อน (โดยทั่วไปคือ cloud data warehouse) จากนั้นจึงถูกแปลงโดยตรงในนั้นโดยใช้ compute power ของมัน ELT ได้รับความนิยมพร้อมกับ cloud data warehouse เช่น BigQuery, Snowflake หรือ Redshift ที่ให้ compute power แบบยืดหยุ่น
2ข้อได้เปรียบหลักของแนวทาง ELT เมื่อเทียบกับ ETL แบบดั้งเดิมคืออะไร?
ข้อได้เปรียบหลักของแนวทาง ELT เมื่อเทียบกับ ETL แบบดั้งเดิมคืออะไร?
คำตอบ
แนวทาง ELT ใช้ประโยชน์จาก compute power แบบยืดหยุ่นของ cloud data warehouse สมัยใหม่ (BigQuery, Snowflake, Redshift) แทนที่จะรักษาโครงสร้างพื้นฐานการแปลงข้อมูลแยกต่างหากที่อาจกลายเป็นคอขวด การแปลงข้อมูลจะใช้ความสามารถในการ scaling ของ data warehouse โดยตรง สิ่งนี้ลดความซับซ้อนในการดำเนินงานและช่วยให้สามารถประมวลผลปริมาณข้อมูลที่มากขึ้นมากโดยไม่ต้องจัดสรรทรัพยากรด้วยตนเอง
3รูปแบบ ETLT คืออะไรและเหมาะสมเมื่อใด?
รูปแบบ ETLT คืออะไรและเหมาะสมเมื่อใด?
คำตอบ
ETLT รวมทั้งสองแนวทาง: การแปลงข้อมูลเบาๆ ครั้งแรกจะดำเนินการระหว่างการแยกข้อมูล (การทำความสะอาด การกรอง การทำให้ไม่ระบุตัวตน) จากนั้นข้อมูลจะถูกโหลดและการแปลงที่ซับซ้อนกว่าจะถูกนำไปใช้ใน data warehouse รูปแบบนี้มีประโยชน์เมื่อต้องดำเนินการแปลงบางอย่างต้นน้ำด้วยเหตุผลด้านการปฏิบัติตามกฎระเบียบ (การปกปิดข้อมูลที่ละเอียดอ่อนก่อนโหลด) การลดปริมาณ (การกรองล่วงหน้า) หรือการทำให้รูปแบบแหล่งที่มาที่หลากหลายเป็นมาตรฐาน
Idempotence ในบริบทของ data pipeline คืออะไร?
วิธีการใช้งาน idempotence เมื่อโหลดข้อมูลลงในตาราง?
+17 คำถามสัมภาษณ์
หัวข้อสัมภาษณ์ Data Engineering อื่นๆ
Linux & Shell - พื้นฐาน
Git & GitHub - พื้นฐาน
Python ขั้นสูงสำหรับ Data Engineering
Docker - พื้นฐาน
Google Cloud Platform - พื้นฐาน
CI/CD และคุณภาพโค้ด
Docker Compose
FastAPI - Data API
SQL ขั้นสูงสำหรับ Data Engineering
Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล
BigQuery สำหรับ Data Engineering
PostgreSQL - การดูแลระบบ
Data Modeling สำหรับ Data Engineering
Fivetran & Airbyte - การนำเข้าข้อมูล
dbt - พื้นฐาน
Apache Airflow - พื้นฐาน
Kubernetes - พื้นฐาน
dbt - ฟีเจอร์ขั้นสูง
Apache Airflow - ขั้นสูง
Airflow + dbt - การจัดการ Pipeline
PySpark - การประมวลผลขนาดใหญ่
Google Pub/Sub - การสตรีมข้อมูล
Apache Beam & Dataflow
Kubernetes - Production และ Scaling
Terraform - Infrastructure as Code
ฐานข้อมูล NoSQL
Data Architecture สมัยใหม่
การมอนิเตอร์และการสังเกตการณ์
IAM และความปลอดภัยของข้อมูล
เชี่ยวชาญ Data Engineering สำหรับการสัมภาษณ์ครั้งถัดไป
เข้าถึงคำถามทั้งหมด flashcards แบบทดสอบเทคนิค แบบฝึกหัด code review และตัวจำลองสัมภาษณ์
เริ่มใช้ฟรี