Modern Data Architecture
Data Lake vs Data Warehouse vs Lakehouse, Data Mesh, Data Contracts, schema registry, ADR, yönetişim, data catalog, lineage
1Bir Data Lake ile Data Warehouse arasındaki temel fark nedir?
Bir Data Lake ile Data Warehouse arasındaki temel fark nedir?
Cevap
Data Lake verileri yerel (ham) formatlarında saklar ve schema'yı okuma sırasında uygular (schema-on-read), keşif için büyük esneklik sağlar. Data Warehouse yazma sırasında yapılandırılmış bir schema'yı zorunlu kılar (schema-on-write) ve analiz için dönüştürülmüş ve optimize edilmiş veriler içerir. Data Lake'ler esneklik ve düşük maliyetli büyük ölçekli depolamayı önceliklendirirken, Data Warehouse'lar sorgu performansını ve veri kalitesini önceliklendirir.
2Lakehouse mimarisinin ayrı Data Lake ve Data Warehouse mimarilerine kıyasla temel avantajı nedir?
Lakehouse mimarisinin ayrı Data Lake ve Data Warehouse mimarilerine kıyasla temel avantajı nedir?
Cevap
Lakehouse mimarisi her iki dünyanın en iyisini birleştirir: Data Lake'in esnek ve maliyet etkin depolaması ile Data Warehouse'un ACID yetenekleri, sorgu performansı ve yönetişimi. Bu, sistemler arasındaki veri tekrarını ortadan kaldırır, senkronizasyon maliyetlerini ve karmaşıklığını azaltır, aynı zamanda Delta Lake, Iceberg veya Hudi gibi açık formatlar kullanarak BI ve ML iş yüklerinin aynı platformda çalışmasına olanak tanır.
3Hangi açık tablo formatı bir Data Lake üzerinde ACID işlemlerini mümkün kılar?
Hangi açık tablo formatı bir Data Lake üzerinde ACID işlemlerini mümkün kılar?
Cevap
Delta Lake, Apache Iceberg ve Apache Hudi, bir Data Lake üzerinde ACID işlemlerini mümkün kılan üç ana açık tablo formatıdır. Databricks tarafından geliştirilen Delta Lake, atomiklik ve tutarlılığı garanti etmek için bir transaction log kullanır. Netflix tarafından oluşturulan Iceberg, gelişmiş partition yönetimi ve schema evolution sunar. Uber tarafından geliştirilen Hudi, upsert ve CDC senaryolarında öne çıkar. Bu formatlar basit nesne depolamayı işlemsel garantilere sahip bir Lakehouse'a dönüştürür.
Data Mesh'in temel ilkesi nedir?
Data Mesh bağlamında Data Contract nedir?
+17 mülakat soruları
Diğer Data Engineering mülakat konuları
Linux & Shell - Temeller
Git & GitHub - Temeller
Data Engineering için ileri düzey Python
Docker - Temeller
Google Cloud Platform - Temeller
CI/CD ve Kod Kalitesi
Docker Compose
FastAPI - Veri API'leri
Data Engineering için İleri Seviye SQL
Data Lake - Mimari ve Veri Alımı
Data Engineering için BigQuery
PostgreSQL - Yönetim
Data Engineering için Data Modeling
Fivetran & Airbyte - Veri Alımı
dbt - Temeller
Apache Airflow - Temeller
Kubernetes - Temeller
dbt - Gelişmiş özellikler
ETL / ELT / ETLT Desenleri
Apache Airflow - İleri Seviye
Airflow + dbt - Pipeline Orkestrasyonu
PySpark - Büyük Ölçekli İşleme
Google Pub/Sub - Veri Streaming
Apache Beam & Dataflow
Kubernetes - Üretim ve Ölçeklendirme
Terraform - Infrastructure as Code
NoSQL Veritabanları
İzleme ve Gözlemlenebilirlik
IAM ve Veri Güvenliği
Bir sonraki mülakatın için Data Engineering'de uzmanlaş
Tüm sorulara, flashcards'a, teknik testlere, code review alıştırmalarına ve mülakat simülatörlerine eriş.
Ücretsiz başla