Комплексна програма Data Engineering, що охоплює весь ланцюжок виробництва даних. Від налаштування середовища з Docker та GCP до оркестрації pipeline з Airflow та dbt, через створення Data Warehouse з BigQuery та PostgreSQL. Навчись обробляти data streaming з PySpark, Pub/Sub та Apache Beam, та розгортати у продакшн з Kubernetes та Terraform. Опануй кращі практики CI/CD, моніторингу та сучасних архітектур даних.
Середовища розробки: Linux, Git, GitHub, VS Code, розширений Python
CI/CD та якість коду: Ruff, Pylint, Poetry, GitHub Actions
Контейнеризація з Docker та Docker Compose
API з FastAPI: проєктування, розгортання, документація
Data Lake: збір, зберігання, організація сирих даних
Data Warehouse з BigQuery: схеми, розділення, оптимізація
PostgreSQL: встановлення, адміністрування, порівняння з managed-рішеннями
Збір даних з Fivetran та Airbyte
Трансформація з dbt: моделі, тести, документація, модульність
Оркестрація з Apache Airflow: DAG, планування, моніторинг
Big Data з PySpark: масштабні трансформації
Data streaming: Google Pub/Sub, Apache Beam, Dataflow
Kubernetes: розгортання контейнерів, масштабування, продакшн-кластери
Infrastructure as Code з Terraform
Розширені бази даних: GraphDB, Document DB, Wide Column DB
Логування, моніторинг та спостережуваність pipeline
Найважливіші концепції для розуміння цієї технології та проходження співбесід
Linux та Shell: основні команди, bash-скрипти, дозволи, cron-завдання
Git та GitHub: гілки, merge, rebase, pull request, CI/CD-процеси
Розширений Python: ООП, декоратори, генератори, контекстні менеджери, typing, async/await
CI/CD: linting (Ruff, Pylint), пакування (Poetry), тести, GitHub Actions, pipeline
Docker: Dockerfile, образи, контейнери, томи, мережі, multi-stage build
Docker Compose: багатоконтейнерні сервіси, залежності, healthcheck, локальна оркестрація
FastAPI: маршрути, моделі Pydantic, залежності, middleware, розгортання
Розширений SQL: window function, CTE, аналітичні запити, оптимізація, індексування
BigQuery: serverless-архітектура, розділення, кластеризація, витрати, UDF, федеративні запити
PostgreSQL: конфігурація, реплікація, індексування (B-tree, GIN, GiST), VACUUM, EXPLAIN ANALYZE
Моделювання даних: схема зірки, таблиці фактів/вимірів, нормалізація, SCD, data vault
ELT vs ETL vs ETLT: патерни, компроміси, архітектурні рішення
Fivetran та Airbyte: конектори, режими синхронізації, CDC, еволюція схеми
dbt: моделі, джерела, ref, тести, snapshot, інкрементальні моделі, Jinja-макроси
Apache Airflow: DAG, оператори, сенсори, XCom, з'єднання, пули, залежності завдань
PySpark: RDD vs DataFrame, трансформації, дії, розділення, broadcast-змінні
Streaming: Pub/Sub (теми, підписки), Apache Beam (PCollection, трансформації, windowing), Dataflow
Kubernetes: pod, deployment, service, ingress, ConfigMap, Secret, Helm, масштабування
Terraform: провайдери, ресурси, стан, модулі, plan/apply, infrastructure as code
IAM та безпека: принцип мінімальних привілеїв, сервісні акаунти, ролі GCP
NoSQL бази даних: GraphDB (Neo4j), Document DB (MongoDB, Firestore), Wide Column (Cassandra, Bigtable)
Архітектура даних: Data Lake vs Data Warehouse vs Data Lakehouse, Data Mesh, Data Contract
Моніторинг та спостережуваність: логування, метрики, сповіщення, SLA/SLO/SLI, перевірки якості даних
Один фрагмент на день. Знайди баг або доведи, що його немає.
Постійні позиції та фриланс, із країною, remote і зарплатою, коли її опубліковано. Оновлюються щодня, доступні лише підписникам.
Відкрий наші найновіші статті та посібники про Data Engineering
ETL та ELT представляють два підходи до архітектури конвеєрів даних. Це порівняння пояснює, коли використовувати кожен патерн, які інструменти їх підтримують та які питання про проектування конвеєрів ставлять дата-інженерам на співбесідах.
Повний посібник з Great Expectations 1.22 для валідації якості даних у Python-пайплайнах. Створення Expectation Suites, Checkpoints та інтеграція з Apache Airflow.
Порівняння Apache Beam 2.76 та Spark 4.2 для data pipeline. Переносимість, продуктивність, питання на співбесідах та вибір правильного фреймворку.