Chương trình Data Engineering toàn diện bao quát toàn bộ chuỗi sản xuất dữ liệu. Từ thiết lập môi trường với Docker và GCP đến điều phối pipeline với Airflow và dbt, qua xây dựng Data Warehouse với BigQuery và PostgreSQL. Học cách xử lý data streaming với PySpark, Pub/Sub và Apache Beam, và triển khai production với Kubernetes và Terraform. Nắm vững CI/CD, giám sát và kiến trúc dữ liệu hiện đại.
Môi trường phát triển: Linux, Git, GitHub, VS Code, Python nâng cao
CI/CD và chất lượng code: Ruff, Pylint, Poetry, GitHub Actions
Container hóa với Docker và Docker Compose
API với FastAPI: thiết kế, triển khai, tài liệu
Data Lake: thu thập, lưu trữ, tổ chức dữ liệu thô
Data Warehouse với BigQuery: schema, phân vùng, tối ưu hóa
PostgreSQL: cài đặt, quản trị, so sánh với giải pháp managed
Thu thập dữ liệu với Fivetran và Airbyte
Chuyển đổi với dbt: model, test, tài liệu, tính module
Điều phối với Apache Airflow: DAG, lập lịch, giám sát
Big Data với PySpark: chuyển đổi quy mô lớn
Data streaming: Google Pub/Sub, Apache Beam, Dataflow
Kubernetes: triển khai container, mở rộng, cluster production
Infrastructure as Code với Terraform
Cơ sở dữ liệu nâng cao: GraphDB, Document DB, Wide Column DB
Ghi log, giám sát và khả năng quan sát pipeline
Những khái niệm quan trọng nhất để hiểu công nghệ này và thành công trong phỏng vấn
Linux và Shell: lệnh cơ bản, bash scripting, quyền, cron job
Git và GitHub: nhánh, merge, rebase, pull request, quy trình CI/CD
Python nâng cao: OOP, decorator, generator, context manager, typing, async/await
CI/CD: linting (Ruff, Pylint), đóng gói (Poetry), test, GitHub Actions, pipeline
Docker: Dockerfile, image, container, volume, network, multi-stage build
Docker Compose: dịch vụ đa container, phụ thuộc, healthcheck, điều phối cục bộ
FastAPI: route, model Pydantic, dependency, middleware, triển khai
SQL nâng cao: window function, CTE, truy vấn phân tích, tối ưu hóa, index
BigQuery: kiến trúc serverless, phân vùng, gom cụm, chi phí, UDF, truy vấn liên hợp
PostgreSQL: cấu hình, nhân bản, index (B-tree, GIN, GiST), VACUUM, EXPLAIN ANALYZE
Mô hình hóa dữ liệu: lược đồ hình sao, bảng fact/dimension, chuẩn hóa, SCD, data vault
ELT vs ETL vs ETLT: mẫu, đánh đổi, lựa chọn kiến trúc
Fivetran và Airbyte: connector, chế độ đồng bộ, CDC, tiến hóa schema
dbt: model, source, ref, test, snapshot, model tăng dần, Jinja macro
Apache Airflow: DAG, operator, sensor, XCom, connection, pool, phụ thuộc tác vụ
PySpark: RDD vs DataFrame, chuyển đổi, action, phân vùng, biến broadcast
Streaming: Pub/Sub (topic, subscription), Apache Beam (PCollection, transform, windowing), Dataflow
Kubernetes: pod, deployment, service, ingress, ConfigMap, Secret, Helm, mở rộng
Terraform: provider, resource, state, module, plan/apply, infrastructure as code
IAM và bảo mật: nguyên tắc quyền tối thiểu, service account, vai trò GCP
Cơ sở dữ liệu NoSQL: GraphDB (Neo4j), Document DB (MongoDB, Firestore), Wide Column (Cassandra, Bigtable)
Kiến trúc dữ liệu: Data Lake vs Data Warehouse vs Data Lakehouse, Data Mesh, Data Contract
Giám sát và khả năng quan sát: ghi log, chỉ số, cảnh báo, SLA/SLO/SLI, kiểm tra chất lượng dữ liệu
Khám phá các bài viết và hướng dẫn mới nhất về Data Engineering
Khám phá các tính năng mới trong Apache Spark 4 bao gồm ANSI SQL mode, VARIANT data type, Real-Time Mode streaming và Spark Connect. Hướng dẫn chi tiết với ví dụ code và câu hỏi phỏng vấn.
Phân tích chuyên sâu về Apache Kafka dành cho kỹ sư dữ liệu, bao gồm kiến trúc streaming, chiến lược partition, consumer groups và các câu hỏi phỏng vấn thường gặp với ví dụ thực tế trên Kafka 4.x và KRaft.
So sánh chi tiết giữa ETL và ELT trong data engineering. Tìm hiểu kiến trúc data pipeline, ưu điểm và nhược điểm của từng phương pháp, và cách chọn giải pháp phù hợp năm 2026.