Apache Airflow - Lanjutan
Sensors, XCom, TaskFlow API, pools, priority, dynamic DAGs, KubernetesPodOperator, monitoring
1Apa peran utama Sensor di Apache Airflow?
Apa peran utama Sensor di Apache Airflow?
Jawaban
Sensor adalah operator khusus yang menunggu kondisi terpenuhi sebelum melanjutkan eksekusi DAG. Ia memeriksa secara berkala (poke) apakah kondisi terpenuhi, seperti kedatangan file, ketersediaan partisi, atau status task lain. Sensors sangat penting untuk mengorkestrasi workflow yang bergantung pada peristiwa eksternal.
2Apa perbedaan antara mode 'poke' dan 'reschedule' untuk Sensor?
Apa perbedaan antara mode 'poke' dan 'reschedule' untuk Sensor?
Jawaban
Dalam mode poke, Sensor terus-menerus menempati worker slot dan memeriksa kondisi pada interval reguler (poke_interval). Dalam mode reschedule, Sensor melepaskan worker slot antara pemeriksaan dan menjadwal ulang dirinya sendiri. Mode reschedule direkomendasikan untuk kondisi yang berjalan lama karena membebaskan sumber daya untuk task lain.
3Sensor mana yang harus digunakan untuk menunggu partisi Hive tersedia?
Sensor mana yang harus digunakan untuk menunggu partisi Hive tersedia?
Jawaban
HivePartitionSensor memeriksa keberadaan partisi tertentu dalam tabel Hive. Ia umum digunakan dalam data pipeline untuk memastikan data sumber tersedia sebelum menjalankan transformasi. Ia menerima parameter seperti schema, table, dan partition untuk diverifikasi.
Bagaimana cara meneruskan data antara dua task Airflow?
Berapa ukuran maksimum yang direkomendasikan untuk data yang disimpan di XCom?
+17 pertanyaan wawancara
Topik wawancara Data Engineering lainnya
Linux & Shell - Dasar-dasar
Git & GitHub - Dasar-dasar
Python lanjutan untuk Data Engineering
Docker - Dasar-dasar
Google Cloud Platform - Dasar-Dasar
CI/CD dan Kualitas Kode
Docker Compose
FastAPI - API Data
SQL Lanjutan untuk Data Engineering
Data Lake - Arsitektur dan Ingesti
BigQuery untuk Data Engineering
PostgreSQL - Administrasi
Data Modeling untuk Data Engineering
Fivetran & Airbyte - Ingesti Data
dbt - Dasar
Apache Airflow - Dasar-Dasar
Kubernetes - Dasar-Dasar
dbt - Fitur lanjutan
Pola ETL / ELT / ETLT
Airflow + dbt - Orkestrasi Pipeline
PySpark - Pemrosesan Skala Besar
Google Pub/Sub - Streaming Data
Apache Beam & Dataflow
Kubernetes - Produksi dan Penskalaan
Terraform - Infrastructure as Code
Database NoSQL
Data Architecture Modern
Monitoring dan Observability
IAM dan Keamanan Data
Kuasai Data Engineering untuk wawancara berikutnya
Akses semua pertanyaan, flashcards, tes teknis, latihan code review dan simulator wawancara.
Mulai gratis