Question 1

デプロイメントモデルの観点で、FivetranとAirbyteの主な違いは何ですか?

Accepted Answer

Fivetranは、インフラストラクチャがFivetranによって管理される完全マネージドSaaSソリューションであり、一方でAirbyteはcloudオファリングに加えてopen-source self-hostedモデルを提供します。Airbyteは独自のインフラストラクチャ(Docker、Kubernetes)にソリューションをデプロイすることを可能にし、データとコストをより詳細に制御できる一方、Fivetranはすべてのメンテナンスを管理することで運用を簡素化します。

Question 2

FivetranまたはAirbyteの文脈でのconnectorとは何ですか?

Accepted Answer

Connectorは、特定のソース(データベース、API、SaaS)から宛先(data warehouse、data lake)へデータを抽出する事前設定されたコンポーネントです。各connectorは、特定のソースの認証、ページネーション、エラー処理、スキーマのマッピングを処理し、カスタム統合コードを記述する必要をなくします。

Question 3

Full RefreshとIncrementalの同期の違いは何ですか?

Accepted Answer

Full Refreshは同期のたびにソースからすべてのデータを抽出し、宛先の既存データを置き換えます。Incrementalは、カーソル(timestamp、自動インクリメントID)を使用して、前回の同期以降の新規データまたは変更のみを転送します。Incrementalは時間、コスト、ソースへの負荷の点でより効率的です。

Fivetran & Airbyte - データ取り込み

デプロイメントモデルの観点で、FivetranとAirbyteの主な違いは何ですか?

回答

FivetranまたはAirbyteの文脈でのconnectorとは何ですか?

回答

Full RefreshとIncrementalの同期の違いは何ですか?

回答

CDC (Change Data Capture)とは何ですか、そしてなぜインジェスションツールで使用されますか?

CDCはtimestampベースの増分同期と比較してどのような主な利点を提供しますか?

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Apache Airflow - 上級

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター