dbt - พื้นฐาน
โปรเจกต์ dbt, models, sources, refs, tests, เอกสาร, materializations (table, view, incremental), seeds
1dbt (data build tool) คืออะไร?
dbt (data build tool) คืออะไร?
คำตอบ
dbt เป็นเครื่องมือแปลงข้อมูลที่ช่วยให้สามารถเขียนการแปลงด้วย SQL และดำเนินการใน data warehouse ได้ โดยนำหลักการ software engineering (การจัดการเวอร์ชัน, tests, เอกสาร) มาใช้กับงานแปลงข้อมูล dbt ไม่จัดการการสกัด (extraction) หรือการโหลด (loading) (E และ L ของ ELT) แต่จะทำเฉพาะการแปลงเท่านั้น
2โครงสร้างพื้นฐานของโปรเจกต์ dbt คืออะไร?
โครงสร้างพื้นฐานของโปรเจกต์ dbt คืออะไร?
คำตอบ
โปรเจกต์ dbt มีไฟล์ dbt_project.yml ที่รากซึ่งกำหนดการตั้งค่าโปรเจกต์ โฟลเดอร์หลักได้แก่ models (ที่มีไฟล์ SQL), tests สำหรับ tests แบบ custom, macros สำหรับ Jinja macros, seeds สำหรับไฟล์ CSV, และ snapshots สำหรับการบันทึกข้อมูลย้อนหลัง ไฟล์ profiles.yml (โดยปกติอยู่นอกโปรเจกต์) กำหนดการเชื่อมต่อกับ warehouse
3บทบาทของไฟล์ profiles.yml ใน dbt คืออะไร?
บทบาทของไฟล์ profiles.yml ใน dbt คืออะไร?
คำตอบ
ไฟล์ profiles.yml มีข้อมูลการเชื่อมต่อไปยัง data warehouse (BigQuery, Snowflake, Redshift, PostgreSQL ฯลฯ) โดยปกติจะเก็บไว้ในโฟลเดอร์ ~/.dbt/ ไม่ใช่ในโปรเจกต์เพื่อหลีกเลี่ยงการ versioning credentials ที่ละเอียดอ่อน แต่ละ profile สามารถมีหลาย target (dev, prod) ทำให้สามารถสลับระหว่างสภาพแวดล้อมได้ง่าย
model ใน dbt คืออะไร?
บทบาทของฟังก์ชัน ref() ใน dbt คืออะไร?
+17 คำถามสัมภาษณ์
หัวข้อสัมภาษณ์ Data Engineering อื่นๆ
Linux & Shell - พื้นฐาน
Git & GitHub - พื้นฐาน
Python ขั้นสูงสำหรับ Data Engineering
Docker - พื้นฐาน
Google Cloud Platform - พื้นฐาน
CI/CD และคุณภาพโค้ด
Docker Compose
FastAPI - Data API
SQL ขั้นสูงสำหรับ Data Engineering
Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล
BigQuery สำหรับ Data Engineering
PostgreSQL - การดูแลระบบ
Data Modeling สำหรับ Data Engineering
Fivetran & Airbyte - การนำเข้าข้อมูล
Apache Airflow - พื้นฐาน
Kubernetes - พื้นฐาน
dbt - ฟีเจอร์ขั้นสูง
รูปแบบ ETL / ELT / ETLT
Apache Airflow - ขั้นสูง
Airflow + dbt - การจัดการ Pipeline
PySpark - การประมวลผลขนาดใหญ่
Google Pub/Sub - การสตรีมข้อมูล
Apache Beam & Dataflow
Kubernetes - Production และ Scaling
Terraform - Infrastructure as Code
ฐานข้อมูล NoSQL
Data Architecture สมัยใหม่
การมอนิเตอร์และการสังเกตการณ์
IAM และความปลอดภัยของข้อมูล
เชี่ยวชาญ Data Engineering สำหรับการสัมภาษณ์ครั้งถัดไป
เข้าถึงคำถามทั้งหมด flashcards แบบทดสอบเทคนิค แบบฝึกหัด code review และตัวจำลองสัมภาษณ์
เริ่มใช้ฟรี