Data Engineering

LinuxとShell: 必須コマンド、bashスクリプト、パーミッション、cron jobs

GitとGitHub: branching、merge、rebase、pull requests、CI/CDワークフロー

高度なPython: OOP、デコレーター、ジェネレーター、コンテキストマネージャー、typing、async/await

CI/CD: linting（Ruff、Pylint）、packaging（Poetry）、tests、GitHub Actions、pipelines

Docker: Dockerfile、イメージ、コンテナ、volumes、networks、multi-stage builds

Docker Compose: マルチコンテナサービス、依存関係、healthchecks、ローカルオーケストレーション

FastAPI: ルート、Pydanticモデル、依存関係、middleware、デプロイ

高度なSQL: window functions、CTEs、分析クエリ、最適化、インデックス

BigQuery: サーバーレスアーキテクチャ、パーティショニング、クラスタリング、コスト、UDFs、federated queries

PostgreSQL: 設定、レプリケーション、インデックス（B-tree、GIN、GiST）、VACUUM、EXPLAIN ANALYZE

データモデリング: スタースキーマ、ファクト/ディメンションテーブル、正規化、SCD、data vault

ELT vs ETL vs ETLT: パターン、トレードオフ、アーキテクチャ選択

FivetranとAirbyte: コネクター、同期モード、CDC、スキーマエボリューション

dbt: models、sources、refs、tests、snapshots、incremental models、Jinja macros

Apache Airflow: DAGs、operators、sensors、XCom、connections、pools、タスク依存関係

PySpark: RDD vs DataFrame、変換、アクション、パーティショニング、broadcast variables

ストリーミング: Pub/Sub（topics、subscriptions）、Apache Beam（PCollections、transforms、windowing）、Dataflow

Kubernetes: pods、deployments、services、ingress、ConfigMaps、Secrets、Helm、scaling

Terraform: providers、resources、state、modules、plan/apply、infrastructure as code

IAMとセキュリティ: 最小権限の原則、service accounts、GCPロール

NoSQLデータベース: GraphDB（Neo4j）、Document DBs（MongoDB、Firestore）、Wide Column（Cassandra、Bigtable）

データアーキテクチャ: Data Lake vs Data Warehouse vs Data Lakehouse、Data Mesh、Data Contracts

モニタリングと可観測性: ロギング、メトリクス、アラート、SLA/SLO/SLI、データ品質チェック