dbt - Dasar
Proyek dbt, models, sources, refs, tests, dokumentasi, materializations (table, view, incremental), seeds
1Apa itu dbt (data build tool)?
Apa itu dbt (data build tool)?
Jawaban
dbt adalah alat transformasi data yang memungkinkan menulis transformasi dalam SQL dan menjalankannya di data warehouse. Ini menerapkan prinsip software engineering (versioning, tests, dokumentasi) pada pekerjaan transformasi data. dbt tidak menangani ekstraksi atau loading (E dan L dari ELT), hanya transformasi.
2Apa struktur dasar dari proyek dbt?
Apa struktur dasar dari proyek dbt?
Jawaban
Proyek dbt berisi file dbt_project.yml di root yang mendefinisikan konfigurasi proyek. Folder utamanya adalah models (berisi file SQL), tests untuk tests kustom, macros untuk macro Jinja, seeds untuk file CSV, dan snapshots untuk capture data historis. File profiles.yml (biasanya di luar proyek) mendefinisikan koneksi ke warehouse.
3Apa peran file profiles.yml di dbt?
Apa peran file profiles.yml di dbt?
Jawaban
File profiles.yml berisi informasi koneksi ke data warehouse (BigQuery, Snowflake, Redshift, PostgreSQL, dll.). Biasanya disimpan di folder ~/.dbt/ dan bukan di proyek untuk menghindari versioning credentials sensitif. Setiap profil dapat memiliki beberapa target (dev, prod) yang memungkinkan peralihan mudah antara environment.
Apa itu model di dbt?
Apa peran fungsi ref() di dbt?
+17 pertanyaan wawancara
Topik wawancara Data Engineering lainnya
Linux & Shell - Dasar-dasar
Git & GitHub - Dasar-dasar
Python lanjutan untuk Data Engineering
Docker - Dasar-dasar
Google Cloud Platform - Dasar-Dasar
CI/CD dan Kualitas Kode
Docker Compose
FastAPI - API Data
SQL Lanjutan untuk Data Engineering
Data Lake - Arsitektur dan Ingesti
BigQuery untuk Data Engineering
PostgreSQL - Administrasi
Data Modeling untuk Data Engineering
Fivetran & Airbyte - Ingesti Data
Apache Airflow - Dasar-Dasar
Kubernetes - Dasar-Dasar
dbt - Fitur lanjutan
Pola ETL / ELT / ETLT
Apache Airflow - Lanjutan
Airflow + dbt - Orkestrasi Pipeline
PySpark - Pemrosesan Skala Besar
Google Pub/Sub - Streaming Data
Apache Beam & Dataflow
Kubernetes - Produksi dan Penskalaan
Terraform - Infrastructure as Code
Database NoSQL
Data Architecture Modern
Monitoring dan Observability
IAM dan Keamanan Data
Kuasai Data Engineering untuk wawancara berikutnya
Akses semua pertanyaan, flashcards, tes teknis, latihan code review dan simulator wawancara.
Mulai gratis