Monitoring dan Observability
Structured logging, metrik, alerting, SLA/SLO/SLI, data quality checks, Great Expectations, Soda
1Apa itu structured logging dalam konteks data pipeline?
Apa itu structured logging dalam konteks data pipeline?
Jawaban
Structured logging berarti mengeluarkan log dalam format yang dapat di-parse (JSON, key-value) daripada teks bebas. Ini memungkinkan filter, pencarian, dan agregasi log dengan mudah di tools seperti Cloud Logging, Elasticsearch, atau Datadog. Dalam data pipeline, ini sangat memudahkan debugging dengan memungkinkan filter berdasarkan DAG, task_id, run_id atau konteks bisnis lainnya.
2Apa perbedaan antara SLI (Service Level Indicator) dan SLO (Service Level Objective)?
Apa perbedaan antara SLI (Service Level Indicator) dan SLO (Service Level Objective)?
Jawaban
SLI adalah metrik terukur yang mengukur aspek kualitas layanan (mis., tingkat keberhasilan job, latensi pipeline). SLO adalah target yang ditetapkan pada metrik tersebut (mis., 99.5% job harus berhasil). SLA adalah komitmen kontraktual kepada pelanggan berdasarkan SLO internal. Hierarki ini memungkinkan monitoring keandalan secara objektif dan memicu alert sebelum melanggar SLA.
3Apa itu Expectation di Great Expectations?
Apa itu Expectation di Great Expectations?
Jawaban
Expectation adalah assertion deklaratif tentang data, seperti expect_column_values_to_not_be_null atau expect_column_values_to_be_between. Great Expectations secara otomatis menghasilkan dokumentasi dan hasil validasi yang dapat ditindaklanjuti. Expectation ini dikelompokkan ke dalam Suite yang mendefinisikan kontrak kualitas lengkap untuk sebuah dataset.
Apa peran utama Soda dalam data pipeline?
Apa itu runbook dalam konteks manajemen insiden data?
+17 pertanyaan wawancara
Topik wawancara Data Engineering lainnya
Linux & Shell - Dasar-dasar
Git & GitHub - Dasar-dasar
Python lanjutan untuk Data Engineering
Docker - Dasar-dasar
Google Cloud Platform - Dasar-Dasar
CI/CD dan Kualitas Kode
Docker Compose
FastAPI - API Data
SQL Lanjutan untuk Data Engineering
Data Lake - Arsitektur dan Ingesti
BigQuery untuk Data Engineering
PostgreSQL - Administrasi
Data Modeling untuk Data Engineering
Fivetran & Airbyte - Ingesti Data
dbt - Dasar
Apache Airflow - Dasar-Dasar
Kubernetes - Dasar-Dasar
dbt - Fitur lanjutan
Pola ETL / ELT / ETLT
Apache Airflow - Lanjutan
Airflow + dbt - Orkestrasi Pipeline
PySpark - Pemrosesan Skala Besar
Google Pub/Sub - Streaming Data
Apache Beam & Dataflow
Kubernetes - Produksi dan Penskalaan
Terraform - Infrastructure as Code
Database NoSQL
Data Architecture Modern
IAM dan Keamanan Data
Kuasai Data Engineering untuk wawancara berikutnya
Akses semua pertanyaan, flashcards, tes teknis, latihan code review dan simulator wawancara.
Mulai gratis