# Моніторинг та спостережуваність (Data Engineering)

> Структуроване логування, метрики, alerting, SLA/SLO/SLI, перевірки якості даних, Great Expectations, Soda

- 20 питань зі співбесід
- Senior
- [Питання зі співбесід: Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy.md)

## 1. Що таке структуроване логування в контексті data pipeline?

**Відповідь**

Структуроване логування означає виведення логів у форматі, який можна парсити (JSON, key-value), а не у вигляді вільного тексту. Це дозволяє легко фільтрувати, шукати та агрегувати логи в інструментах, таких як Cloud Logging, Elasticsearch або Datadog. У data pipeline це значно полегшує налагодження, дозволяючи фільтрувати за DAG, task_id, run_id або будь-яким бізнес-контекстом.

## 2. Яка різниця між SLI (Service Level Indicator) та SLO (Service Level Objective)?

**Відповідь**

SLI — це вимірювана метрика, яка кількісно оцінює аспект якості сервісу (наприклад, частоту успіху завдань, затримку pipeline). SLO — це ціль, визначена для цієї метрики (наприклад, 99,5% завдань повинні бути успішними). SLA — це договірне зобов'язання перед клієнтами на основі внутрішніх SLO. Ця ієрархія дозволяє об'єктивно моніторити надійність та запускати сповіщення до порушення SLA.

## 3. Що таке Expectation у Great Expectations?

**Відповідь**

Expectation — це декларативне твердження про дані, наприклад expect_column_values_to_not_be_null або expect_column_values_to_be_between. Great Expectations автоматично генерує документацію та практичні результати валідації. Ці Expectation згруповані в Suite, які визначають повний контракт якості датасету.

## Ще 17 доступних питань

- Яка основна роль Soda в data pipeline?
- Що таке runbook у контексті управління інцидентами даних?

Зареєструйся безкоштовно: https://sharpskill.dev/uk/login

## Інші теми співбесід Data Engineering

- [Linux & Shell - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/linux-shell-basics.md): 20 запитань, Junior
- [Git & GitHub - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/git-github-fundamentals.md): 20 запитань, Junior
- [Просунутий Python для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/python-advanced-de.md): 25 запитань, Junior
- [Docker - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/docker-fundamentals.md): 25 запитань, Junior
- [Google Cloud Platform - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/gcp-fundamentals.md): 20 запитань, Junior
- [CI/CD та якість коду](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/ci-cd-code-quality.md): 20 запитань, Mid-Level
- [Docker Compose](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/docker-compose.md): 20 запитань, Mid-Level
- [FastAPI - API даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/fastapi.md): 20 запитань, Mid-Level
- [Просунутий SQL для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/sql-advanced-de.md): 20 запитань, Mid-Level
- [Data Lake - Архітектура та завантаження даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-lake.md): 20 запитань, Mid-Level
- [BigQuery для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/bigquery-de.md): 20 запитань, Mid-Level
- [PostgreSQL - Адміністрування](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/postgresql-admin.md): 20 запитань, Mid-Level
- [Data Modeling для Data Engineering](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-modeling-de.md): 20 запитань, Mid-Level
- [Fivetran & Airbyte - Завантаження даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/fivetran-airbyte.md): 20 запитань, Mid-Level
- [dbt - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/dbt-fundamentals-de.md): 20 запитань, Mid-Level
- [Apache Airflow - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-fundamentals.md): 20 запитань, Mid-Level
- [Kubernetes - Основи](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/kubernetes-fundamentals.md): 20 запитань, Mid-Level
- [dbt - Розширені можливості](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/dbt-advanced-de.md): 20 запитань, Senior
- [Патерни ETL / ELT / ETLT](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/etl-elt-patterns.md): 20 запитань, Senior
- [Apache Airflow - Просунутий](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-advanced.md): 20 запитань, Senior
- [Airflow + dbt - Оркестрація пайплайнів](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/airflow-dbt-integration.md): 20 запитань, Senior
- [PySpark - Великомасштабна обробка](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/pyspark.md): 20 запитань, Senior
- [Google Pub/Sub - Стрімінг даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/pubsub-streaming.md): 20 запитань, Senior
- [Apache Beam & Dataflow](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/apache-beam-dataflow.md): 20 запитань, Senior
- [Kubernetes - Продакшн та масштабування](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/kubernetes-advanced.md): 20 запитань, Senior
- [Terraform - Infrastructure as Code](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/terraform.md): 20 запитань, Senior
- [Бази даних NoSQL](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/nosql-databases.md): 20 запитань, Senior
- [Сучасна Data Architecture](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/data-architecture.md): 20 запитань, Senior
- [IAM та безпека даних](https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/iam-security-de.md): 20 запитань, Senior

---

Source: SharpSkill (https://sharpskill.dev), tech interview preparation for your real stack.
HTML version of this page: https://sharpskill.dev/uk/technologies/data-engineering/pytannia-spivbesidy/monitoring-observability