Question 1

Quelle commande permet d'afficher le répertoire de travail actuel dans un terminal Linux ?

Accepted Answer

La commande pwd (print working directory) affiche le chemin absolu du répertoire courant. Elle est essentielle pour se repérer dans l'arborescence des fichiers, notamment lors de la navigation entre plusieurs dossiers ou dans des scripts bash.

Question 2

Quelle commande permet d'initialiser un nouveau dépôt Git dans un répertoire existant ?

Accepted Answer

La commande git init crée un nouveau dépôt Git dans le répertoire courant en initialisant le sous-répertoire .git qui contient tous les fichiers nécessaires au versioning. Cette commande est la première étape pour commencer à suivre les modifications d'un projet existant.

Question 3

Qu'est-ce qu'une classe en Python ?

Accepted Answer

Une classe est un modèle (blueprint) qui définit la structure et le comportement d'objets. Elle encapsule des données (attributs) et des fonctions (méthodes) qui opèrent sur ces données. Les classes permettent de créer des instances multiples partageant la même structure mais avec des valeurs différentes, ce qui est fondamental pour la programmation orientée objet.

Question 4

Qu'est-ce qu'un conteneur Docker ?

Accepted Answer

Un conteneur Docker est une instance exécutable d'une image Docker. Il encapsule une application et toutes ses dépendances dans un environnement isolé et portable. Contrairement aux machines virtuelles, les conteneurs partagent le noyau du système hôte, ce qui les rend beaucoup plus légers et rapides à démarrer. Chaque conteneur possède son propre système de fichiers, sa propre pile réseau et ses propres processus isolés.

Question 5

Qu'est-ce qu'un Data Lake ?

Accepted Answer

Un Data Lake est un système de stockage centralisé capable de stocker des données brutes dans leur format natif, qu'elles soient structurées, semi-structurées ou non structurées. Contrairement au Data Warehouse qui impose un schéma à l'écriture (schema-on-write), le Data Lake applique un schéma à la lecture (schema-on-read), offrant une flexibilité maximale pour l'exploration et l'analyse des données.

Question 6

Quelle est l'architecture de stockage utilisée par BigQuery ?

Accepted Answer

BigQuery utilise une architecture serverless avec un stockage en colonnes (columnar storage) appelé Capacitor. Cette architecture sépare le stockage et le compute, permettant un scaling indépendant et une facturation distincte. Le stockage columnar est optimisé pour les requêtes analytiques car il permet de ne lire que les colonnes nécessaires, réduisant considérablement les I/O.

Question 7

Quel fichier de configuration PostgreSQL contient les paramètres principaux du serveur comme shared_buffers et work_mem ?

Accepted Answer

Le fichier postgresql.conf contient les paramètres de configuration principaux du serveur PostgreSQL, incluant les allocations mémoire (shared_buffers, work_mem), les paramètres de connexion, le logging et les optimisations de performance. Ce fichier est lu au démarrage du serveur et certains paramètres nécessitent un redémarrage complet pour prendre effet.

Question 8

Dans dbt, quelle est la fonction principale des macros Jinja ?

Accepted Answer

Les macros Jinja permettent de réutiliser du code SQL dans plusieurs modèles dbt. Elles fonctionnent comme des fonctions qui acceptent des paramètres et retournent du code SQL généré dynamiquement. Cela évite la duplication de code et facilite la maintenance des transformations complexes à travers le projet.

Question 9

Quelle est la principale différence entre ETL et ELT ?

Accepted Answer

Dans ETL (Extract-Transform-Load), les données sont transformées sur un serveur intermédiaire avant d'être chargées dans la destination. Dans ELT (Extract-Load-Transform), les données brutes sont d'abord chargées dans la destination (généralement un data warehouse cloud), puis transformées directement dans celui-ci en utilisant sa puissance de calcul. ELT est devenu populaire avec les data warehouses cloud comme BigQuery, Snowflake ou Redshift qui offrent une puissance de calcul élastique.

Question 10

Quel est le rôle principal d'un Sensor dans Apache Airflow ?

Accepted Answer

Un Sensor est un opérateur spécial qui attend qu'une condition soit remplie avant de continuer l'exécution du DAG. Il vérifie périodiquement (poke) si la condition est satisfaite, comme l'arrivée d'un fichier, la disponibilité d'une partition ou l'état d'une autre tâche. Les Sensors sont essentiels pour orchestrer des workflows dépendant d'événements externes.

Questions d'entretien Data Engineering

Prêt pour ton entretien Data Engineering ?

Explorer tous les sujets Data Engineering

Linux & Shell - Fondamentaux

Git & GitHub - Fondamentaux

Python avancé pour le Data Engineering

Docker - Fondamentaux

Google Cloud Platform - Fondamentaux

CI/CD et qualité de code

Docker Compose

FastAPI - APIs de données

SQL avancé pour le Data Engineering

Data Lake - Architecture et ingestion

BigQuery pour le Data Engineering

PostgreSQL - Administration

Data Modeling pour le Data Engineering

Fivetran & Airbyte - Ingestion de données

dbt - Fondamentaux

Apache Airflow - Fondamentaux

Kubernetes - Fondamentaux

dbt - Fonctionnalités avancées

Patterns ETL / ELT / ETLT

Apache Airflow - Avancé

Airflow + dbt - Orchestration de pipelines

PySpark - Traitement à grande échelle

Google Pub/Sub - Streaming de données

Apache Beam & Dataflow

Kubernetes - Production et scaling

Terraform - Infrastructure as Code

Bases de données NoSQL

Architecture Data moderne

Monitoring et observabilité

IAM et sécurité des données

Les offres Data Engineering en chiffres

Où sont les offres Data Engineering

Le marché Data Engineering aujourd'hui

Maîtrise Data Engineering pour ton prochain entretien