Arquitetura Data moderna
Data Lake vs Data Warehouse vs Lakehouse, Data Mesh, Data Contracts, schema registry, ADR, governança, data catalog, lineage
1Qual é a diferença fundamental entre um Data Lake e um Data Warehouse?
Qual é a diferença fundamental entre um Data Lake e um Data Warehouse?
Resposta
Um Data Lake armazena dados em seu formato nativo (bruto) com schema aplicado em leitura (schema-on-read), permitindo grande flexibilidade para exploração. Um Data Warehouse impõe um schema estruturado em escrita (schema-on-write) com dados transformados e otimizados para analytics. Data Lakes priorizam flexibilidade e armazenamento massivo de baixo custo, enquanto Data Warehouses priorizam o desempenho de queries analíticas e a qualidade dos dados.
2Qual é a principal vantagem da arquitetura Lakehouse em comparação com arquiteturas Data Lake e Data Warehouse separadas?
Qual é a principal vantagem da arquitetura Lakehouse em comparação com arquiteturas Data Lake e Data Warehouse separadas?
Resposta
A arquitetura Lakehouse combina o melhor dos dois mundos: o armazenamento flexível e econômico do Data Lake com capacidades ACID, desempenho de queries e governança do Data Warehouse. Isso elimina duplicação de dados entre sistemas, reduz custos e complexidade de sincronização, permitindo workloads BI e ML na mesma plataforma usando formatos abertos como Delta Lake, Iceberg ou Hudi.
3Qual formato de tabela aberto permite transações ACID em um Data Lake?
Qual formato de tabela aberto permite transações ACID em um Data Lake?
Resposta
Delta Lake, Apache Iceberg e Apache Hudi são os três principais formatos de tabela abertos que habilitam transações ACID em um Data Lake. Delta Lake, desenvolvido pela Databricks, usa um transaction log para garantir atomicidade e consistência. Iceberg, criado pela Netflix, oferece gestão avançada de partições e schema evolution. Hudi, desenvolvido pela Uber, se destaca em cenários de upsert e CDC. Esses formatos transformam armazenamento simples de objetos em um Lakehouse com garantias transacionais.
Qual é o princípio fundamental do Data Mesh?
O que é um Data Contract no contexto do Data Mesh?
+17 perguntas de entrevista
Outros temas de entrevista Data Engineering
Linux & Shell - Fundamentos
Git & GitHub - Fundamentos
Python avançado para Data Engineering
Docker - Fundamentos
Google Cloud Platform - Fundamentos
CI/CD e qualidade de código
Docker Compose
FastAPI - APIs de dados
SQL avançado para Data Engineering
Data Lake - Arquitetura e ingestão
BigQuery para Data Engineering
PostgreSQL - Administração
Data Modeling para Data Engineering
Fivetran & Airbyte - Ingestão de dados
dbt - Fundamentos
Apache Airflow - Fundamentos
Kubernetes - Fundamentos
dbt - Recursos avançados
Padrões ETL / ELT / ETLT
Apache Airflow - Avançado
Airflow + dbt - Orquestração de pipelines
PySpark - Processamento em grande escala
Google Pub/Sub - Streaming de dados
Apache Beam & Dataflow
Kubernetes - Produção e escalabilidade
Terraform - Infrastructure as Code
Bancos de dados NoSQL
Monitoramento e observabilidade
IAM e segurança de dados
Domine Data Engineering para sua proxima entrevista
Acesse todas as perguntas, flashcards, testes tecnicos, exercicios de code review e simuladores de entrevista.
Comece gratis