Question 1

BigQueryはどのストレージアーキテクチャを使用しますか?

Accepted Answer

BigQueryは、Capacitorと呼ばれるカラム型ストレージを備えたサーバーレスアーキテクチャを使用します。このアーキテクチャはストレージとコンピュートを分離し、独立したスケーリングと個別の課金を可能にします。カラム型ストレージは必要なカラムのみを読み取ることができ、I/Oを大幅に削減するため、分析クエリに最適化されています。

Question 2

BigQueryにおけるテーブルパーティショニングの主な利点は何ですか?

Accepted Answer

パーティショニングは、大きなテーブルをカラム(通常は日付)に基づいて小さなセグメントに分割します。クエリ実行時、BigQueryは関連性のないパーティションをスキップ(partition pruning)し、スキャンされるデータ量を削減します。BigQueryは処理されたデータ量に基づいて課金されるため、これによりパフォーマンスが向上しコストが削減されます。

Question 3

BigQueryで利用可能なパーティショニングのタイプは何ですか?

Accepted Answer

BigQueryは3種類のパーティショニングをサポートしています:DATEまたはTIMESTAMPカラムによるもの(最も一般的)、整数範囲(INTEGER RANGE)によるもの、取り込み時刻(_PARTITIONTIME)によるものです。日付パーティショニングは、日付フィルターで効率的なpartition pruningを可能にするため、時系列データに推奨されます。

データエンジニアリングのためのBigQuery

BigQueryはどのストレージアーキテクチャを使用しますか?

回答

BigQueryにおけるテーブルパーティショニングの主な利点は何ですか?

回答

BigQueryで利用可能なパーティショニングのタイプは何ですか?

回答

BigQueryにおけるパーティショニングとクラスタリングの違いは何ですか?

BigQueryでクエリコストを最適化する方法は?

その他のData Engineering面接トピック

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Apache Airflow - 上級

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター