Parcours complet en Data Engineering couvrant toute la chaîne de production des données. De la configuration d'environnements avec Docker et GCP à l'orchestration de pipelines avec Airflow et dbt, en passant par la création de Data Warehouses avec BigQuery et PostgreSQL. Apprenez à gérer le streaming de données avec PySpark, Pub/Sub et Apache Beam, et à déployer en production avec Kubernetes et Terraform. Maîtrisez les bonnes pratiques CI/CD, le monitoring et les architectures de données modernes.
Environnements de développement : Linux, Git, GitHub, VS Code, Python avancé
CI/CD et qualité de code : Ruff, Pylint, Poetry, GitHub Actions
Conteneurisation avec Docker et Docker Compose
APIs avec FastAPI : conception, déploiement, documentation
Data Lake : ingestion, stockage, organisation des données brutes
Data Warehouse avec BigQuery : schémas, partitionnement, optimisation
PostgreSQL : configuration, administration, comparaison avec solutions managées
Ingestion de données avec Fivetran et Airbyte
Transformation avec dbt : models, tests, documentation, modularité
Orchestration avec Apache Airflow : DAGs, scheduling, monitoring
Big Data avec PySpark : transformations à grande échelle
Streaming de données : Google Pub/Sub, Apache Beam, Dataflow
Kubernetes : déploiement de conteneurs, scaling, clusters de production
Infrastructure as Code avec Terraform
Bases de données avancées : GraphDB, Document DBs, Wide Column DBs
Logging, monitoring et observabilité des pipelines
Les concepts les plus importants pour comprendre cette techno et réussir tes entretiens
Linux & Shell : commandes essentielles, scripting bash, permissions, cron jobs
Git & GitHub : branching, merge, rebase, pull requests, CI/CD workflows
Python avancé : POO, décorateurs, générateurs, context managers, typing, async/await
CI/CD : linting (Ruff, Pylint), packaging (Poetry), tests, GitHub Actions, pipelines
Docker : Dockerfile, images, conteneurs, volumes, networks, multi-stage builds
Docker Compose : services multi-conteneurs, dépendances, healthchecks, orchestration locale
FastAPI : routes, modèles Pydantic, dépendances, middleware, déploiement
SQL avancé : window functions, CTEs, requêtes analytiques, optimisation, indexation
BigQuery : architecture serverless, partitionnement, clustering, coûts, UDFs, federated queries
PostgreSQL : configuration, réplication, indexation (B-tree, GIN, GiST), VACUUM, EXPLAIN ANALYZE
Data Modeling : schéma en étoile, tables de faits/dimensions, normalisation, SCD, data vault
ELT vs ETL vs ETLT : patterns, trade-offs, choix d'architecture
Fivetran & Airbyte : connecteurs, sync modes, CDC, schéma evolution
dbt : models, sources, refs, tests, snapshots, incremental models, Jinja macros
Apache Airflow : DAGs, operators, sensors, XCom, connections, pools, task dependencies
PySpark : RDD vs DataFrame, transformations, actions, partitioning, broadcast variables
Streaming : Pub/Sub (topics, subscriptions), Apache Beam (PCollections, transforms, windowing), Dataflow
Kubernetes : pods, deployments, services, ingress, ConfigMaps, Secrets, Helm, scaling
Terraform : providers, resources, state, modules, plan/apply, infrastructure as code
IAM & sécurité : principes du moindre privilège, service accounts, rôles GCP
Bases de données NoSQL : GraphDB (Neo4j), Document DBs (MongoDB, Firestore), Wide Column (Cassandra, Bigtable)
Architecture Data : Data Lake vs Data Warehouse vs Data Lakehouse, Data Mesh, Data Contracts
Monitoring & observabilité : logging, métriques, alerting, SLA/SLO/SLI, data quality checks
Découvre nos derniers articles et guides sur Data Engineering
Maîtriser Apache Airflow 3.2 avec ce tutoriel pratique : écriture de DAG avec le Task SDK, patterns d'orchestration de pipelines, partitions d'assets et vraies questions d'entretien pour les postes de data engineering en 2026.
Tutoriel pratique sur dbt (data build tool) : transformations SQL, modélisation par couches, stratégies de test et vraies questions d'entretien pour les postes de data engineering en 2026.
Guide complet sur Apache Spark 4 : mode ANSI SQL, type VARIANT, Real-Time Mode streaming, Spark Connect, et questions d'entretien data engineering.