Question 1

ความแตกต่างหลักระหว่าง ETL และ ELT คืออะไร?

Accepted Answer

ใน ETL (Extract-Transform-Load) ข้อมูลจะถูกแปลงบนเซิร์ฟเวอร์ตัวกลางก่อนที่จะถูกโหลดเข้าสู่ปลายทาง ใน ELT (Extract-Load-Transform) ข้อมูลดิบจะถูกโหลดเข้าสู่ปลายทางก่อน (โดยทั่วไปคือ cloud data warehouse) จากนั้นจึงถูกแปลงโดยตรงในนั้นโดยใช้ compute power ของมัน ELT ได้รับความนิยมพร้อมกับ cloud data warehouse เช่น BigQuery, Snowflake หรือ Redshift ที่ให้ compute power แบบยืดหยุ่น

Question 2

ข้อได้เปรียบหลักของแนวทาง ELT เมื่อเทียบกับ ETL แบบดั้งเดิมคืออะไร?

Accepted Answer

แนวทาง ELT ใช้ประโยชน์จาก compute power แบบยืดหยุ่นของ cloud data warehouse สมัยใหม่ (BigQuery, Snowflake, Redshift) แทนที่จะรักษาโครงสร้างพื้นฐานการแปลงข้อมูลแยกต่างหากที่อาจกลายเป็นคอขวด การแปลงข้อมูลจะใช้ความสามารถในการ scaling ของ data warehouse โดยตรง สิ่งนี้ลดความซับซ้อนในการดำเนินงานและช่วยให้สามารถประมวลผลปริมาณข้อมูลที่มากขึ้นมากโดยไม่ต้องจัดสรรทรัพยากรด้วยตนเอง

Question 3

รูปแบบ ETLT คืออะไรและเหมาะสมเมื่อใด?

Accepted Answer

ETLT รวมทั้งสองแนวทาง: การแปลงข้อมูลเบาๆ ครั้งแรกจะดำเนินการระหว่างการแยกข้อมูล (การทำความสะอาด การกรอง การทำให้ไม่ระบุตัวตน) จากนั้นข้อมูลจะถูกโหลดและการแปลงที่ซับซ้อนกว่าจะถูกนำไปใช้ใน data warehouse รูปแบบนี้มีประโยชน์เมื่อต้องดำเนินการแปลงบางอย่างต้นน้ำด้วยเหตุผลด้านการปฏิบัติตามกฎระเบียบ (การปกปิดข้อมูลที่ละเอียดอ่อนก่อนโหลด) การลดปริมาณ (การกรองล่วงหน้า) หรือการทำให้รูปแบบแหล่งที่มาที่หลากหลายเป็นมาตรฐาน

รูปแบบ ETL / ELT / ETLT

ความแตกต่างหลักระหว่าง ETL และ ELT คืออะไร?

คำตอบ

ข้อได้เปรียบหลักของแนวทาง ELT เมื่อเทียบกับ ETL แบบดั้งเดิมคืออะไร?

คำตอบ

รูปแบบ ETLT คืออะไรและเหมาะสมเมื่อใด?

คำตอบ

Idempotence ในบริบทของ data pipeline คืออะไร?

วิธีการใช้งาน idempotence เมื่อโหลดข้อมูลลงในตาราง?

หัวข้อสัมภาษณ์ Data Engineering อื่นๆ

Linux & Shell - พื้นฐาน

Git & GitHub - พื้นฐาน

Python ขั้นสูงสำหรับ Data Engineering

Docker - พื้นฐาน

Google Cloud Platform - พื้นฐาน

CI/CD และคุณภาพโค้ด

Docker Compose

FastAPI - Data API

SQL ขั้นสูงสำหรับ Data Engineering

Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล

BigQuery สำหรับ Data Engineering

PostgreSQL - การดูแลระบบ

Data Modeling สำหรับ Data Engineering

Fivetran & Airbyte - การนำเข้าข้อมูล

dbt - พื้นฐาน

Apache Airflow - พื้นฐาน

Kubernetes - พื้นฐาน

dbt - ฟีเจอร์ขั้นสูง

Apache Airflow - ขั้นสูง

Airflow + dbt - การจัดการ Pipeline

PySpark - การประมวลผลขนาดใหญ่

Google Pub/Sub - การสตรีมข้อมูล

Apache Beam & Dataflow

Kubernetes - Production และ Scaling

Terraform - Infrastructure as Code

ฐานข้อมูล NoSQL

Data Architecture สมัยใหม่

การมอนิเตอร์และการสังเกตการณ์

IAM และความปลอดภัยของข้อมูล

เชี่ยวชาญ Data Engineering สำหรับการสัมภาษณ์ครั้งถัดไป