Question 1

Яка команда відображає поточний робочий каталог у терміналі Linux?

Accepted Answer

Команда pwd (print working directory) відображає абсолютний шлях поточного каталогу. Вона необхідна для орієнтації в дереві файлів, особливо під час навігації між кількома папками або в bash-скриптах.

Question 2

Яка команда ініціалізує новий Git-репозиторій в існуючому каталозі?

Accepted Answer

Команда git init створює новий Git-репозиторій у поточному каталозі, ініціалізуючи підкаталог .git, який містить усі файли, необхідні для версіонування. Ця команда є першим кроком для початку відстеження змін в існуючому проекті.

Question 3

Що таке клас у Python?

Accepted Answer

Клас — це шаблон (blueprint), який визначає структуру та поведінку об'єктів. Він інкапсулює дані (атрибути) та функції (методи), що працюють з цими даними. Класи дозволяють створювати кілька екземплярів зі спільною структурою, але різними значеннями, що є фундаментальним для об'єктно-орієнтованого програмування.

Question 4

Що таке контейнер Docker?

Accepted Answer

Контейнер Docker — це виконуваний екземпляр образу Docker. Він інкапсулює застосунок і всі його залежності в ізольованому та переносному середовищі. На відміну від віртуальних машин, контейнери спільно використовують ядро хост-системи, що робить їх значно легшими та швидшими у запуску. Кожен контейнер має власну файлову систему, мережевий стек та власні ізольовані процеси.

Question 5

Що таке Data Lake?

Accepted Answer

Data Lake — це централізована система зберігання, здатна зберігати сирі дані в їхньому рідному форматі, незалежно від того, чи вони структуровані, напівструктуровані або неструктуровані. На відміну від Data Warehouse, який нав'язує схему під час запису (schema-on-write), Data Lake застосовує схему під час читання (schema-on-read), пропонуючи максимальну гнучкість для дослідження та аналізу даних.

Question 6

Яку архітектуру зберігання використовує BigQuery?

Accepted Answer

BigQuery використовує serverless архітектуру з колонковим сховищем під назвою Capacitor. Ця архітектура розділяє storage та compute, що дозволяє незалежне масштабування та окреме виставлення рахунків. Колонкове сховище оптимізоване для аналітичних запитів, оскільки дозволяє читати лише необхідні колонки, значно зменшуючи I/O.

Question 7

Який файл конфігурації PostgreSQL містить основні параметри сервера, такі як shared_buffers і work_mem?

Accepted Answer

Файл postgresql.conf містить основні параметри конфігурації сервера PostgreSQL, включаючи виділення пам'яті (shared_buffers, work_mem), налаштування з'єднання, логування та налаштування продуктивності. Цей файл читається при запуску сервера, і деякі параметри потребують повного перезавантаження для набуття чинності.

Question 8

Яка основна функція макросів Jinja в dbt?

Accepted Answer

Макроси Jinja дозволяють повторно використовувати SQL-код у кількох моделях dbt. Вони працюють як функції, які приймають параметри та повертають динамічно згенерований SQL-код. Це уникає дублювання коду та полегшує підтримку складних перетворень у всьому проєкті.

Question 9

Яка основна різниця між ETL та ELT?

Accepted Answer

У ETL (Extract-Transform-Load) дані трансформуються на проміжному сервері перед завантаженням у пункт призначення. У ELT (Extract-Load-Transform) сирі дані спочатку завантажуються в пункт призначення (зазвичай хмарне data warehouse), а потім трансформуються безпосередньо в ньому з використанням його обчислювальної потужності. ELT став популярним з хмарними data warehouse, такими як BigQuery, Snowflake або Redshift, які пропонують еластичну обчислювальну потужність.

Question 10

Яка основна роль Sensor в Apache Airflow?

Accepted Answer

Sensor — це спеціальний оператор, який чекає, поки умова буде виконана, перед продовженням виконання DAG. Він періодично перевіряє (poke), чи виконана умова, наприклад надходження файлу, доступність партиції або стан іншого завдання. Sensors є необхідними для оркестрації workflow, що залежать від зовнішніх подій.

Питання зі співбесід з Data Engineering

Готовий до співбесіди з Data Engineering?

Дослідити всі теми Data Engineering

Linux & Shell - Основи

Git & GitHub - Основи

Просунутий Python для Data Engineering

Docker - Основи

Google Cloud Platform - Основи

CI/CD та якість коду

Docker Compose

FastAPI - API даних

Просунутий SQL для Data Engineering

Data Lake - Архітектура та завантаження даних

BigQuery для Data Engineering

PostgreSQL - Адміністрування

Data Modeling для Data Engineering

Fivetran & Airbyte - Завантаження даних

dbt - Основи

Apache Airflow - Основи

Kubernetes - Основи

dbt - Розширені можливості

Патерни ETL / ELT / ETLT

Apache Airflow - Просунутий

Airflow + dbt - Оркестрація пайплайнів

PySpark - Великомасштабна обробка

Google Pub/Sub - Стрімінг даних

Apache Beam & Dataflow

Kubernetes - Продакшн та масштабування

Terraform - Infrastructure as Code

Бази даних NoSQL

Сучасна Data Architecture

Моніторинг та спостережуваність

IAM та безпека даних

Опануй Data Engineering для наступної співбесіди