Question 1

Qual comando exibe o diretório de trabalho atual em um terminal Linux?

Accepted Answer

O comando pwd (print working directory) exibe o caminho absoluto do diretório atual. É essencial para se localizar na árvore de arquivos, especialmente ao navegar entre várias pastas ou em scripts bash.

Question 2

Qual comando inicializa um novo repositório Git em um diretório existente?

Accepted Answer

O comando git init cria um novo repositório Git no diretório atual inicializando o subdiretório .git que contém todos os arquivos necessários para o versionamento. Esse comando é o primeiro passo para começar a rastrear as alterações de um projeto existente.

Question 3

O que é uma classe em Python?

Accepted Answer

Uma classe é um modelo (blueprint) que define a estrutura e o comportamento dos objetos. Ela encapsula dados (atributos) e funções (métodos) que operam sobre esses dados. As classes permitem criar múltiplas instâncias que compartilham a mesma estrutura mas com valores diferentes, o que é fundamental para a programação orientada a objetos.

Question 4

O que é um contêiner Docker?

Accepted Answer

Um contêiner Docker é uma instância executável de uma imagem Docker. Ele encapsula uma aplicação e todas as suas dependências em um ambiente isolado e portável. Diferente das máquinas virtuais, os contêineres compartilham o kernel do sistema host, tornando-os muito mais leves e rápidos para iniciar. Cada contêiner tem seu próprio sistema de arquivos, sua própria pilha de rede e seus próprios processos isolados.

Question 5

O que é um Data Lake?

Accepted Answer

Um Data Lake é um sistema de armazenamento centralizado capaz de armazenar dados brutos em seu formato nativo, sejam estruturados, semiestruturados ou não estruturados. Diferente do Data Warehouse que impõe um esquema na escrita (schema-on-write), o Data Lake aplica o esquema na leitura (schema-on-read), oferecendo flexibilidade máxima para exploração e análise de dados.

Question 6

Qual arquitetura de armazenamento o BigQuery utiliza?

Accepted Answer

O BigQuery utiliza uma arquitetura serverless com armazenamento colunar chamado Capacitor. Essa arquitetura separa armazenamento e compute, permitindo escalonamento independente e cobrança separada. O armazenamento colunar é otimizado para consultas analíticas, pois permite ler apenas as colunas necessárias, reduzindo significativamente o I/O.

Question 7

Qual arquivo de configuração do PostgreSQL contém os parâmetros principais do servidor como shared_buffers e work_mem?

Accepted Answer

O arquivo postgresql.conf contém os principais parâmetros de configuração do servidor PostgreSQL, incluindo alocações de memória (shared_buffers, work_mem), configurações de conexão, logging e ajuste de desempenho. Este arquivo é lido na inicialização do servidor e alguns parâmetros exigem reinicialização completa para entrar em vigor.

Question 8

No dbt, qual é a função principal das macros Jinja?

Accepted Answer

As macros Jinja permitem reutilizar código SQL em vários modelos dbt. Elas funcionam como funções que aceitam parâmetros e retornam código SQL gerado dinamicamente. Isso evita a duplicação de código e facilita a manutenção de transformações complexas em todo o projeto.

Question 9

Qual é a principal diferença entre ETL e ELT?

Accepted Answer

No ETL (Extract-Transform-Load), os dados são transformados em um servidor intermediário antes de serem carregados no destino. No ELT (Extract-Load-Transform), os dados brutos são primeiro carregados no destino (geralmente um data warehouse cloud) e depois transformados diretamente nele usando seu poder de processamento. ELT tornou-se popular com data warehouses cloud como BigQuery, Snowflake ou Redshift que oferecem poder de processamento elástico.

Question 10

Qual é o papel principal de um Sensor no Apache Airflow?

Accepted Answer

Um Sensor é um operador especial que aguarda o cumprimento de uma condição antes de continuar a execução do DAG. Ele verifica periodicamente (poke) se a condição está satisfeita, como a chegada de um arquivo, a disponibilidade de uma partição ou o estado de outra tarefa. Os Sensors são essenciais para orquestrar workflows que dependem de eventos externos.

Perguntas de entrevista de Data Engineering

Pronto para sua entrevista de Data Engineering?

Explore todos os temas de Data Engineering

Linux & Shell - Fundamentos

Git & GitHub - Fundamentos

Python avançado para Data Engineering

Docker - Fundamentos

Google Cloud Platform - Fundamentos

CI/CD e qualidade de código

Docker Compose

FastAPI - APIs de dados

SQL avançado para Data Engineering

Data Lake - Arquitetura e ingestão

BigQuery para Data Engineering

PostgreSQL - Administração

Data Modeling para Data Engineering

Fivetran & Airbyte - Ingestão de dados

dbt - Fundamentos

Apache Airflow - Fundamentos

Kubernetes - Fundamentos

dbt - Recursos avançados

Padrões ETL / ELT / ETLT

Apache Airflow - Avançado

Airflow + dbt - Orquestração de pipelines

PySpark - Processamento em grande escala

Google Pub/Sub - Streaming de dados

Apache Beam & Dataflow

Kubernetes - Produção e escalabilidade

Terraform - Infrastructure as Code

Bancos de dados NoSQL

Arquitetura Data moderna

Monitoramento e observabilidade

IAM e segurança de dados

Vagas Data Engineering em números

Onde estão as vagas Data Engineering

O mercado Data Engineering hoje

Domine Data Engineering para sua proxima entrevista