Fivetran & Airbyte - Ingesti Data
Connector, sync modes (full, incremental), CDC, schema evolution, transformasi, monitoring
1Apa perbedaan utama antara Fivetran dan Airbyte dalam hal model deployment?
Apa perbedaan utama antara Fivetran dan Airbyte dalam hal model deployment?
Jawaban
Fivetran adalah solusi SaaS fully managed di mana infrastruktur dikelola oleh Fivetran, sementara Airbyte menawarkan model open-source self-hosted selain penawaran cloud. Airbyte memungkinkan deployment solusi pada infrastruktur Anda sendiri (Docker, Kubernetes), memberikan lebih banyak kontrol atas data dan biaya, sedangkan Fivetran menyederhanakan operasi dengan mengelola seluruh maintenance.
2Apa itu connector dalam konteks Fivetran atau Airbyte?
Apa itu connector dalam konteks Fivetran atau Airbyte?
Jawaban
Connector adalah komponen pre-configured yang mengekstrak data dari source tertentu (database, API, SaaS) ke destination (data warehouse, data lake). Setiap connector menangani autentikasi, pagination, error handling, dan schema mapping untuk source tertentu, menghindari kebutuhan menulis kode integrasi kustom.
3Apa perbedaan antara sinkronisasi Full Refresh dan Incremental?
Apa perbedaan antara sinkronisasi Full Refresh dan Incremental?
Jawaban
Full Refresh mengekstrak semua data dari source pada setiap sinkronisasi dan menggantikan data yang ada di destination. Incremental hanya mentransfer data baru atau perubahan sejak sinkronisasi terakhir, menggunakan cursor (timestamp, ID auto-increment). Incremental lebih efisien dari segi waktu, biaya, dan beban pada source.
Apa itu CDC (Change Data Capture) dan mengapa digunakan dalam tools ingesti?
Apa keunggulan utama yang diberikan CDC dibandingkan sinkronisasi incremental berbasis timestamp?
+17 pertanyaan wawancara
Topik wawancara Data Engineering lainnya
Linux & Shell - Dasar-dasar
Git & GitHub - Dasar-dasar
Python lanjutan untuk Data Engineering
Docker - Dasar-dasar
Google Cloud Platform - Dasar-Dasar
CI/CD dan Kualitas Kode
Docker Compose
FastAPI - API Data
SQL Lanjutan untuk Data Engineering
Data Lake - Arsitektur dan Ingesti
BigQuery untuk Data Engineering
PostgreSQL - Administrasi
Data Modeling untuk Data Engineering
dbt - Dasar
Apache Airflow - Dasar-Dasar
Kubernetes - Dasar-Dasar
dbt - Fitur lanjutan
Pola ETL / ELT / ETLT
Apache Airflow - Lanjutan
Airflow + dbt - Orkestrasi Pipeline
PySpark - Pemrosesan Skala Besar
Google Pub/Sub - Streaming Data
Apache Beam & Dataflow
Kubernetes - Produksi dan Penskalaan
Terraform - Infrastructure as Code
Database NoSQL
Data Architecture Modern
Monitoring dan Observability
IAM dan Keamanan Data
Kuasai Data Engineering untuk wawancara berikutnya
Akses semua pertanyaan, flashcards, tes teknis, latihan code review dan simulator wawancara.
Mulai gratis