Question 1

ETLとELTの主な違いは何ですか?

Accepted Answer

ETL(Extract-Transform-Load)では、データは宛先にロードされる前に中間サーバーで変換されます。ELT(Extract-Load-Transform)では、生データはまず宛先(通常はクラウドデータウェアハウス)にロードされ、その後その計算能力を使用して直接変換されます。ELTはBigQuery、Snowflake、Redshiftなどの弾力的な計算能力を提供するクラウドデータウェアハウスとともに普及しました。

Question 2

従来のETLと比較したELTアプローチの主な利点は何ですか?

Accepted Answer

ELTアプローチは、最新のクラウドデータウェアハウス(BigQuery、Snowflake、Redshift)の弾力的な計算能力を活用します。ボトルネックとなり得る別個の変換インフラを維持する代わりに、変換はデータウェアハウスのスケーリング機能を直接使用します。これにより運用の複雑さが軽減され、手動のリソースプロビジョニングなしではるかに大量のデータを処理できます。

Question 3

ETLTパターンとは何で、いつ関連性がありますか?

Accepted Answer

ETLTは両方のアプローチを組み合わせます:抽出中に最初の軽い変換(クレンジング、フィルタリング、匿名化)が実行され、その後データがロードされ、データウェアハウスでより複雑な変換が適用されます。このパターンは、コンプライアンス上の理由(ロード前の機密データのマスキング)、ボリューム削減(早期フィルタリング)、または異種ソースフォーマットの正規化のために、特定の変換を上流で行う必要がある場合に有用です。

ETL / ELT / ETLT パターン

ETLとELTの主な違いは何ですか?

回答

従来のETLと比較したELTアプローチの主な利点は何ですか?

回答

ETLTパターンとは何で、いつ関連性がありますか?

回答

データパイプラインの文脈における冪等性とは何ですか?

テーブルにデータをロードする際に冪等性を実装するにはどうすればよいですか?

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

Apache Airflow - 上級

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター