Tüm veri üretim zincirini kapsayan kapsamlı Data Engineering müfredatı. Docker ve GCP ile ortam kurulumundan Airflow ve dbt ile pipeline orkestrasyonuna, BigQuery ve PostgreSQL ile Data Warehouse oluşturmaya kadar. PySpark, Pub/Sub ve Apache Beam ile veri akışını yönetmeyi, Kubernetes ve Terraform ile üretime dağıtmayı öğren. CI/CD, izleme ve modern veri mimarileri en iyi uygulamalarında uzmanlaş.
Geliştirme ortamları: Linux, Git, GitHub, VS Code, gelişmiş Python
CI/CD ve kod kalitesi: Ruff, Pylint, Poetry, GitHub Actions
Docker ve Docker Compose ile konteynerleştirme
FastAPI ile API geliştirme: tasarım, dağıtım, dokümantasyon
Data Lake: veri alımı, depolama, ham veri organizasyonu
BigQuery ile Data Warehouse: şemalar, bölümleme, optimizasyon
PostgreSQL: kurulum, yönetim, yönetilen çözümlerle karşılaştırma
Fivetran ve Airbyte ile veri alımı
dbt ile dönüşüm: modeller, testler, dokümantasyon, modülerlik
Apache Airflow ile orkestrasyon: DAG, zamanlama, izleme
PySpark ile Big Data: büyük ölçekli dönüşümler
Veri akışı: Google Pub/Sub, Apache Beam, Dataflow
Kubernetes: konteyner dağıtımı, ölçekleme, üretim kümeleri
Terraform ile Infrastructure as Code
Gelişmiş veritabanları: GraphDB, Document DB, Wide Column DB
Loglama, izleme ve pipeline gözlemlenebilirliği
Bu teknolojiyi anlamak ve mülakatlarını başarmak için en önemli kavramlar
Linux ve Shell: temel komutlar, bash betikleri, izinler, cron görevleri
Git ve GitHub: dallanma, merge, rebase, pull request, CI/CD iş akışları
Gelişmiş Python: OOP, decorator, generator, context manager, typing, async/await
CI/CD: linting (Ruff, Pylint), paketleme (Poetry), testler, GitHub Actions, pipeline
Docker: Dockerfile, imaj, konteyner, volume, ağ, multi-stage build
Docker Compose: çoklu konteyner servisleri, bağımlılıklar, healthcheck, yerel orkestrasyon
FastAPI: route, Pydantic modelleri, bağımlılıklar, middleware, dağıtım
Gelişmiş SQL: window function, CTE, analitik sorgular, optimizasyon, indeksleme
BigQuery: sunucusuz mimari, bölümleme, kümeleme, maliyetler, UDF, federatif sorgular
PostgreSQL: yapılandırma, replikasyon, indeksleme (B-tree, GIN, GiST), VACUUM, EXPLAIN ANALYZE
Veri Modelleme: yıldız şeması, fact/dimension tabloları, normalizasyon, SCD, data vault
ELT vs ETL vs ETLT: kalıplar, ödünleşimler, mimari seçimler
Fivetran ve Airbyte: bağlayıcılar, senkronizasyon modları, CDC, şema evrimi
dbt: modeller, kaynaklar, ref, testler, snapshot, artımlı modeller, Jinja makroları
Apache Airflow: DAG, operatör, sensör, XCom, bağlantılar, havuzlar, görev bağımlılıkları
PySpark: RDD vs DataFrame, dönüşümler, eylemler, bölümleme, broadcast değişkenler
Streaming: Pub/Sub (konu, abonelik), Apache Beam (PCollection, dönüşüm, pencereleme), Dataflow
Kubernetes: pod, deployment, service, ingress, ConfigMap, Secret, Helm, ölçekleme
Terraform: provider, kaynak, state, modül, plan/apply, infrastructure as code
IAM ve güvenlik: en az yetki ilkeleri, servis hesapları, GCP rolleri
NoSQL veritabanları: GraphDB (Neo4j), Document DB (MongoDB, Firestore), Wide Column (Cassandra, Bigtable)
Veri Mimarisi: Data Lake vs Data Warehouse vs Data Lakehouse, Data Mesh, Data Contract
İzleme ve gözlemlenebilirlik: loglama, metrikler, uyarılar, SLA/SLO/SLI, veri kalitesi kontrolleri
Data Engineering hakkındaki en son makale ve rehberlerimizi keşfet
Apache Spark 4 hakkinda kapsamli teknik rehber. ANSI SQL modu, VARIANT veri tipi, Real-Time Mode Streaming, Spark Connect ve Data Engineering mulakat sorulari detayli kod ornekleriyle inceleniyor.
Veri muhendisleri icin kapsamli Apache Kafka rehberi. Streaming mimarisi, partition stratejileri, consumer groups, KRaft modu, Debezium ile CDC, exactly-once semantigi ve mulakat sorulari. Python kod ornekleri ile aciklamali.
Modern veri pipeline'ları için ETL ve ELT karşılaştırması. Mimari farklılıklar, performans dengeleri ve Snowflake, BigQuery, dbt ile uygulama senaryoları.