Question 1

Linuxターミナルで現在の作業ディレクトリを表示するコマンドはどれですか？

Accepted Answer

pwd (print working directory) コマンドは現在のディレクトリの絶対パスを表示します。ファイルツリー内で自分の位置を把握するのに不可欠で、特に複数のフォルダ間を移動する場合やbashスクリプト内で重要です。

Question 2

既存のディレクトリに新しいGitリポジトリを初期化するコマンドはどれですか?

Accepted Answer

git initコマンドは、バージョン管理に必要なすべてのファイルを含む.gitサブディレクトリを初期化することで、カレントディレクトリに新しいGitリポジトリを作成します。このコマンドは、既存プロジェクトの変更を追跡し始めるための最初のステップです。

Question 3

Pythonのクラスとは何ですか?

Accepted Answer

クラスは、オブジェクトの構造と振る舞いを定義する設計図(blueprint)です。データ(属性)とそのデータを操作する関数(メソッド)をカプセル化します。クラスを使うと、同じ構造を共有しながら異なる値を持つ複数のインスタンスを作成でき、これはオブジェクト指向プログラミングの基本となります。

Question 4

Dockerコンテナとは何ですか?

Accepted Answer

Dockerコンテナとは、Dockerイメージの実行可能なインスタンスです。アプリケーションとそのすべての依存関係を、隔離されたポータブルな環境にカプセル化します。仮想マシンとは異なり、コンテナはホストシステムのカーネルを共有するため、はるかに軽量で起動が高速です。各コンテナは独自のファイルシステム、ネットワークスタック、隔離されたプロセスを持ちます。

Question 5

Data Lakeとは何ですか？

Accepted Answer

Data Lakeは、構造化、半構造化、非構造化を問わず、生データをネイティブ形式で保存できる集中型ストレージシステムです。書き込み時にスキーマを強制するData Warehouse（schema-on-write）とは異なり、Data Lakeは読み取り時にスキーマを適用（schema-on-read）し、データ探索と分析に最大限の柔軟性を提供します。

Question 6

BigQueryはどのストレージアーキテクチャを使用しますか?

Accepted Answer

BigQueryは、Capacitorと呼ばれるカラム型ストレージを備えたサーバーレスアーキテクチャを使用します。このアーキテクチャはストレージとコンピュートを分離し、独立したスケーリングと個別の課金を可能にします。カラム型ストレージは必要なカラムのみを読み取ることができ、I/Oを大幅に削減するため、分析クエリに最適化されています。

Question 7

shared_buffersやwork_memのような主要なサーバーパラメータを含むPostgreSQL設定ファイルはどれですか？

Accepted Answer

postgresql.confファイルには、メモリ割り当て(shared_buffers、work_mem)、接続設定、ロギング、パフォーマンスチューニングなど、PostgreSQLサーバーの主要な設定パラメータが含まれています。このファイルはサーバー起動時に読み込まれ、一部のパラメータは完全な再起動が必要です。

Question 8

dbtにおいて、Jinjaマクロの主な目的は何ですか?

Accepted Answer

Jinjaマクロは、複数のdbtモデルでコードを再利用できるようにします。パラメータを受け取り、動的に生成されたSQLコードを返す関数のように動作します。これによりコードの重複を回避し、プロジェクト全体で複雑な変換を保守しやすくなります。

Question 9

ETLとELTの主な違いは何ですか?

Accepted Answer

ETL(Extract-Transform-Load)では、データは宛先にロードされる前に中間サーバーで変換されます。ELT(Extract-Load-Transform)では、生データはまず宛先(通常はクラウドデータウェアハウス)にロードされ、その後その計算能力を使用して直接変換されます。ELTはBigQuery、Snowflake、Redshiftなどの弾力的な計算能力を提供するクラウドデータウェアハウスとともに普及しました。

Question 10

Apache AirflowにおけるSensorの主な役割は何ですか？

Accepted Answer

Sensorは、DAG実行を続行する前に条件が満たされるのを待つ特別なオペレーターです。ファイルの到着、パーティションの利用可能性、別のタスクの状態など、条件が満たされているかを定期的に確認（poke）します。Sensorsは外部イベントに依存するワークフローのオーケストレーションに不可欠です。

Data Engineering面接の質問

Data Engineeringの面接準備はできていますか？

Data Engineeringの全トピックを探索

Linux & Shell - 基礎

Git & GitHub - 基礎

データエンジニアリングのための高度なPython

Docker - 基礎

Google Cloud Platform - 基礎

CI/CDとコード品質

Docker Compose

FastAPI - データAPI

Data Engineering向けの高度なSQL

Data Lake - アーキテクチャと取り込み

データエンジニアリングのためのBigQuery

PostgreSQL - 管理

Data EngineeringのためのData Modeling

Fivetran & Airbyte - データ取り込み

dbt - 基礎

Apache Airflow - 基礎

Kubernetes - 基礎

dbt - 高度な機能

ETL / ELT / ETLT パターン

Apache Airflow - 上級

Airflow + dbt - パイプラインオーケストレーション

PySpark - 大規模処理

Google Pub/Sub - データストリーミング

Apache Beam & Dataflow

Kubernetes - 本番環境とスケーリング

Terraform - Infrastructure as Code

NoSQLデータベース

モダンなData Architecture

モニタリングとオブザーバビリティ

IAMとデータセキュリティ

次の面接に向けてData Engineeringをマスター