Google Pub/Sub - Стрімінг даних
Topics, subscriptions, push vs pull, ordering, dead lettering, exactly-once delivery, monitoring, schema registry
1Яка основна архітектурна характеристика Google Pub/Sub?
Яка основна архітектурна характеристика Google Pub/Sub?
Відповідь
Google Pub/Sub — це безсерверний асинхронний сервіс обміну повідомленнями, який роз'єднує виробників повідомлень від споживачів. Publisher'и надсилають повідомлення до topic'ів, не знаючи subscriber'ів, а subscriber'и отримують повідомлення через subscription'и, не знаючи publisher'ів. Ця архітектура забезпечує незалежне горизонтальне масштабування з обох боків.
2Яка фундаментальна різниця між topic'ом і subscription'ом у Pub/Sub?
Яка фундаментальна різниця між topic'ом і subscription'ом у Pub/Sub?
Відповідь
Topic — це іменований канал, до якого publisher'и надсилають повідомлення, тоді як subscription — це іменована сутність, що представляє інтерес subscriber'а до отримання повідомлень з topic'а. Один topic може мати кілька subscription'ів, і кожен subscription отримує копію кожного повідомлення, опублікованого в topic'і.
3У якому випадку слід надавати перевагу pull subscription над push subscription?
У якому випадку слід надавати перевагу pull subscription над push subscription?
Відповідь
Pull subscription краще, коли subscriber'у потрібно контролювати швидкість споживання повідомлень (flow control), обробляти великі batch'і, або коли середовище виконання не може надати публічний HTTPS endpoint. Pull також полегшує управління піками навантаження шляхом динамічного коригування кількості отриманих повідомлень.
Як працює механізм acknowledgement у Pub/Sub?
Яка роль dead letter topic у Pub/Sub?
+17 питань зі співбесід
Інші теми співбесід Data Engineering
Linux & Shell - Основи
Git & GitHub - Основи
Просунутий Python для Data Engineering
Docker - Основи
Google Cloud Platform - Основи
CI/CD та якість коду
Docker Compose
FastAPI - API даних
Просунутий SQL для Data Engineering
Data Lake - Архітектура та завантаження даних
BigQuery для Data Engineering
PostgreSQL - Адміністрування
Data Modeling для Data Engineering
Fivetran & Airbyte - Завантаження даних
dbt - Основи
Apache Airflow - Основи
Kubernetes - Основи
dbt - Розширені можливості
Патерни ETL / ELT / ETLT
Apache Airflow - Просунутий
Airflow + dbt - Оркестрація пайплайнів
PySpark - Великомасштабна обробка
Apache Beam & Dataflow
Kubernetes - Продакшн та масштабування
Terraform - Infrastructure as Code
Бази даних NoSQL
Сучасна Data Architecture
Моніторинг та спостережуваність
IAM та безпека даних
Опануй Data Engineering для наступної співбесіди
Отримай доступ до всіх питань, flashcards, технічних тестів, вправ code review та симуляторів співбесід.
Почни безкоштовно