İzleme ve Gözlemlenebilirlik
Yapılandırılmış loglama, metrikler, alerting, SLA/SLO/SLI, veri kalite kontrolleri, Great Expectations, Soda
1Veri pipeline'ı bağlamında yapılandırılmış loglama nedir?
Veri pipeline'ı bağlamında yapılandırılmış loglama nedir?
Cevap
Yapılandırılmış loglama, logları serbest metin yerine ayrıştırılabilir bir formatta (JSON, key-value) yaymak anlamına gelir. Bu, Cloud Logging, Elasticsearch veya Datadog gibi araçlarda logları kolayca filtrelemeyi, aramayı ve toplamayı sağlar. Bir veri pipeline'ında, DAG, task_id, run_id veya herhangi bir iş bağlamı ile filtrelemeye olanak tanıyarak debugging'i büyük ölçüde kolaylaştırır.
2SLI (Service Level Indicator) ile SLO (Service Level Objective) arasındaki fark nedir?
SLI (Service Level Indicator) ile SLO (Service Level Objective) arasındaki fark nedir?
Cevap
SLI, hizmet kalitesinin bir yönünü ölçen (ör. iş başarı oranı, pipeline gecikmesi) ölçülebilir bir metriktir. SLO, bu metrik üzerinde tanımlanan bir hedeftir (ör. işlerin %99,5'i başarılı olmalı). SLA, dahili SLO'lara dayalı müşterilere yönelik sözleşmeye dayalı taahhüttür. Bu hiyerarşi, güvenilirliği nesnel olarak izlemeyi ve SLA'ları ihlal etmeden önce alert tetiklemeyi sağlar.
3Great Expectations'ta Expectation nedir?
Great Expectations'ta Expectation nedir?
Cevap
Expectation, expect_column_values_to_not_be_null veya expect_column_values_to_be_between gibi veriler hakkında bildirimsel bir iddiadır. Great Expectations otomatik olarak belgeleri ve uygulanabilir doğrulama sonuçları üretir. Bu Expectation'lar, bir veri kümesinin tam kalite sözleşmesini tanımlayan Suite'lere gruplandırılır.
Veri pipeline'ında Soda'nın ana rolü nedir?
Veri olay yönetimi bağlamında runbook nedir?
+17 mülakat soruları
Diğer Data Engineering mülakat konuları
Linux & Shell - Temeller
Git & GitHub - Temeller
Data Engineering için ileri düzey Python
Docker - Temeller
Google Cloud Platform - Temeller
CI/CD ve Kod Kalitesi
Docker Compose
FastAPI - Veri API'leri
Data Engineering için İleri Seviye SQL
Data Lake - Mimari ve Veri Alımı
Data Engineering için BigQuery
PostgreSQL - Yönetim
Data Engineering için Data Modeling
Fivetran & Airbyte - Veri Alımı
dbt - Temeller
Apache Airflow - Temeller
Kubernetes - Temeller
dbt - Gelişmiş özellikler
ETL / ELT / ETLT Desenleri
Apache Airflow - İleri Seviye
Airflow + dbt - Pipeline Orkestrasyonu
PySpark - Büyük Ölçekli İşleme
Google Pub/Sub - Veri Streaming
Apache Beam & Dataflow
Kubernetes - Üretim ve Ölçeklendirme
Terraform - Infrastructure as Code
NoSQL Veritabanları
Modern Data Architecture
IAM ve Veri Güvenliği
Bir sonraki mülakatın için Data Engineering'de uzmanlaş
Tüm sorulara, flashcards'a, teknik testlere, code review alıştırmalarına ve mülakat simülatörlerine eriş.
Ücretsiz başla