# モダンなData Architecture (Data Engineering)

> Data Lake vs Data Warehouse vs Lakehouse、Data Mesh、Data Contracts、schema registry、ADR、ガバナンス、data catalog、lineage

- 20 面接問題
- Senior
- [面接問題: Data Engineering](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions.md)

## 1. Data LakeとData Warehouseの根本的な違いは何ですか?

**回答**

Data Lakeはデータをネイティブ(raw)フォーマットで保存し、読み取り時にスキーマを適用(schema-on-read)するため、探索の柔軟性が高くなります。Data Warehouseは書き込み時に構造化されたスキーマを強制(schema-on-write)し、分析用に変換・最適化されたデータを保持します。Data Lakeは柔軟性と低コストの大規模ストレージを重視し、Data Warehouseはクエリパフォーマンスとデータ品質を重視します。

## 2. Lakehouseアーキテクチャの、Data LakeとData Warehouseを分離したアーキテクチャと比較した主な利点は何ですか?

**回答**

Lakehouseアーキテクチャは両者の長所を組み合わせます: Data Lakeの柔軟で経済的なストレージとData WarehouseのACID機能、クエリパフォーマンス、ガバナンスを統合します。これによりシステム間のデータ重複を排除し、同期コストと複雑さを削減しつつ、Delta Lake、Iceberg、Hudiなどのオープンフォーマットで同じプラットフォーム上でBIとMLのワークロードを実行できます。

## 3. Data Lake上でACIDトランザクションを可能にするオープンテーブルフォーマットはどれですか?

**回答**

Delta Lake、Apache Iceberg、Apache HudiはData Lake上でACIDトランザクションを可能にする3つの主要なオープンテーブルフォーマットです。Databricksが開発したDelta Lakeはtransaction logを使用してatomicityとconsistencyを保証します。Netflixが作成したIcebergは高度なパーティション管理とschema evolutionを提供します。Uberが開発したHudiはupsertとCDCシナリオで優れています。これらのフォーマットはシンプルなオブジェクトストレージをトランザクション保証付きのLakehouseに変換します。

## さらに17問利用可能

- Data Meshの基本原則は何ですか?
- Data Meshの文脈におけるData Contractとは何ですか?

無料で登録: https://sharpskill.dev/ja/login

## その他のData Engineering面接トピック

- [Linux & Shell - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/linux-shell-basics.md): 20問, Junior
- [Git & GitHub - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/git-github-fundamentals.md): 20問, Junior
- [データエンジニアリングのための高度なPython](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/python-advanced-de.md): 25問, Junior
- [Docker - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/docker-fundamentals.md): 25問, Junior
- [Google Cloud Platform - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/gcp-fundamentals.md): 20問, Junior
- [CI/CDとコード品質](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/ci-cd-code-quality.md): 20問, Mid-Level
- [Docker Compose](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/docker-compose.md): 20問, Mid-Level
- [FastAPI - データAPI](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/fastapi.md): 20問, Mid-Level
- [Data Engineering向けの高度なSQL](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/sql-advanced-de.md): 20問, Mid-Level
- [Data Lake - アーキテクチャと取り込み](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/data-lake.md): 20問, Mid-Level
- [データエンジニアリングのためのBigQuery](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/bigquery-de.md): 20問, Mid-Level
- [PostgreSQL - 管理](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/postgresql-admin.md): 20問, Mid-Level
- [Data EngineeringのためのData Modeling](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/data-modeling-de.md): 20問, Mid-Level
- [Fivetran & Airbyte - データ取り込み](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/fivetran-airbyte.md): 20問, Mid-Level
- [dbt - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/dbt-fundamentals-de.md): 20問, Mid-Level
- [Apache Airflow - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/airflow-fundamentals.md): 20問, Mid-Level
- [Kubernetes - 基礎](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/kubernetes-fundamentals.md): 20問, Mid-Level
- [dbt - 高度な機能](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/dbt-advanced-de.md): 20問, Senior
- [ETL / ELT / ETLT パターン](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/etl-elt-patterns.md): 20問, Senior
- [Apache Airflow - 上級](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/airflow-advanced.md): 20問, Senior
- [Airflow + dbt - パイプラインオーケストレーション](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/airflow-dbt-integration.md): 20問, Senior
- [PySpark - 大規模処理](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/pyspark.md): 20問, Senior
- [Google Pub/Sub - データストリーミング](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/pubsub-streaming.md): 20問, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/apache-beam-dataflow.md): 20問, Senior
- [Kubernetes - 本番環境とスケーリング](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/kubernetes-advanced.md): 20問, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/terraform.md): 20問, Senior
- [NoSQLデータベース](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/nosql-databases.md): 20問, Senior
- [モニタリングとオブザーバビリティ](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/monitoring-observability.md): 20問, Senior
- [IAMとデータセキュリティ](https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/iam-security-de.md): 20問, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/ja/technologies/data-engineering/interview-questions/data-architecture