Question 1

คำสั่งใดแสดงไดเรกทอรีการทำงานปัจจุบันใน terminal Linux?

Accepted Answer

คำสั่ง pwd (print working directory) แสดงเส้นทางสัมบูรณ์ของไดเรกทอรีปัจจุบัน คำสั่งนี้จำเป็นสำหรับการระบุตำแหน่งในต้นไม้ไฟล์ โดยเฉพาะเมื่อนำทางระหว่างหลายโฟลเดอร์หรือในสคริปต์ bash

Question 2

คำสั่งใดที่ใช้เริ่มต้น Git repository ใหม่ในไดเรกทอรีที่มีอยู่?

Accepted Answer

คำสั่ง git init สร้าง Git repository ใหม่ในไดเรกทอรีปัจจุบันโดยการเริ่มต้นไดเรกทอรีย่อย .git ซึ่งมีไฟล์ทั้งหมดที่จำเป็นสำหรับการจัดการเวอร์ชัน คำสั่งนี้เป็นขั้นตอนแรกในการเริ่มติดตามการเปลี่ยนแปลงของโปรเจกต์ที่มีอยู่

Question 3

Class ใน Python คืออะไร?

Accepted Answer

Class คือพิมพ์เขียว (blueprint) ที่กำหนดโครงสร้างและพฤติกรรมของ object โดยจะห่อหุ้มข้อมูล (attributes) และฟังก์ชัน (methods) ที่ทำงานกับข้อมูลนั้น Class ช่วยให้สร้าง instance หลายตัวที่มีโครงสร้างเดียวกันแต่มีค่าต่างกันได้ ซึ่งเป็นพื้นฐานของการเขียนโปรแกรมเชิงวัตถุ

Question 4

Docker container คืออะไร?

Accepted Answer

Docker container คืออินสแตนซ์ที่สามารถรันได้ของ Docker image โดยจะห่อหุ้มแอปพลิเคชันและ dependency ทั้งหมดของมันในสภาพแวดล้อมที่แยกและพกพาได้ ต่างจากเครื่องเสมือน container จะแชร์ kernel ของระบบ host ทำให้เบาและเริ่มต้นได้เร็วกว่ามาก แต่ละ container มีระบบไฟล์ network stack และ process ที่แยกอิสระเป็นของตัวเอง

Question 5

Data Lake คืออะไร?

Accepted Answer

Data Lake คือระบบจัดเก็บข้อมูลแบบรวมศูนย์ที่สามารถเก็บข้อมูลดิบในรูปแบบดั้งเดิม ไม่ว่าจะเป็นข้อมูลที่มีโครงสร้าง กึ่งโครงสร้าง หรือไม่มีโครงสร้าง ต่างจาก Data Warehouse ที่บังคับใช้ schema ตอนเขียน (schema-on-write) Data Lake จะใช้ schema ตอนอ่าน (schema-on-read) ให้ความยืดหยุ่นสูงสุดสำหรับการสำรวจและวิเคราะห์ข้อมูล

Question 6

BigQuery ใช้สถาปัตยกรรมการจัดเก็บข้อมูลแบบใด?

Accepted Answer

BigQuery ใช้สถาปัตยกรรม serverless พร้อม columnar storage ที่เรียกว่า Capacitor สถาปัตยกรรมนี้แยกการจัดเก็บข้อมูลและการประมวลผล ทำให้สามารถปรับขนาดและคิดค่าใช้จ่ายแยกกันได้ Columnar storage เหมาะสำหรับการคิวรีเชิงวิเคราะห์เพราะอ่านเฉพาะคอลัมน์ที่จำเป็น ลด I/O ได้อย่างมาก

Question 7

ไฟล์การกำหนดค่า PostgreSQL ใดที่มีพารามิเตอร์เซิร์ฟเวอร์หลักเช่น shared_buffers และ work_mem?

Accepted Answer

ไฟล์ postgresql.conf มีพารามิเตอร์การกำหนดค่าเซิร์ฟเวอร์ PostgreSQL หลัก รวมถึงการจัดสรรหน่วยความจำ (shared_buffers, work_mem), การตั้งค่าการเชื่อมต่อ, การบันทึก และการปรับแต่งประสิทธิภาพ ไฟล์นี้ถูกอ่านเมื่อเริ่มต้นเซิร์ฟเวอร์และพารามิเตอร์บางตัวต้องเริ่มต้นใหม่ทั้งหมดเพื่อให้มีผล

Question 8

ใน dbt วัตถุประสงค์หลักของ Jinja macros คืออะไร?

Accepted Answer

Jinja macros ช่วยให้ใช้โค้ดซ้ำได้ในหลาย dbt models โดยทำงานเหมือนฟังก์ชันที่รับพารามิเตอร์และส่งคืน SQL ที่สร้างขึ้นแบบไดนามิก ซึ่งช่วยหลีกเลี่ยงการซ้ำซ้อนของโค้ดและทำให้บำรุงรักษาการแปลงที่ซับซ้อนทั่วทั้งโปรเจกต์ได้ง่ายขึ้น

Question 9

ความแตกต่างหลักระหว่าง ETL และ ELT คืออะไร?

Accepted Answer

ใน ETL (Extract-Transform-Load) ข้อมูลจะถูกแปลงบนเซิร์ฟเวอร์ตัวกลางก่อนที่จะถูกโหลดเข้าสู่ปลายทาง ใน ELT (Extract-Load-Transform) ข้อมูลดิบจะถูกโหลดเข้าสู่ปลายทางก่อน (โดยทั่วไปคือ cloud data warehouse) จากนั้นจึงถูกแปลงโดยตรงในนั้นโดยใช้ compute power ของมัน ELT ได้รับความนิยมพร้อมกับ cloud data warehouse เช่น BigQuery, Snowflake หรือ Redshift ที่ให้ compute power แบบยืดหยุ่น

Question 10

บทบาทหลักของ Sensor ใน Apache Airflow คืออะไร?

Accepted Answer

Sensor เป็นตัวดำเนินการพิเศษที่รอเงื่อนไขที่จะต้องเป็นไปตามก่อนที่จะดำเนินการ DAG ต่อ มันจะตรวจสอบเป็นระยะ (poke) ว่าเงื่อนไขเป็นไปตามหรือไม่ เช่น การมาถึงของไฟล์ ความพร้อมใช้งานของ partition หรือสถานะของ task อื่น Sensors มีความสำคัญต่อการจัดเรียง workflow ที่ขึ้นอยู่กับเหตุการณ์ภายนอก

คำถามสัมภาษณ์ Data Engineering

พร้อมสำหรับการสัมภาษณ์ Data Engineering แล้วหรือยังครับ?

สำรวจหัวข้อ Data Engineering ทั้งหมด

Linux & Shell - พื้นฐาน

Git & GitHub - พื้นฐาน

Python ขั้นสูงสำหรับ Data Engineering

Docker - พื้นฐาน

Google Cloud Platform - พื้นฐาน

CI/CD และคุณภาพโค้ด

Docker Compose

FastAPI - Data API

SQL ขั้นสูงสำหรับ Data Engineering

Data Lake - สถาปัตยกรรมและการนำเข้าข้อมูล

BigQuery สำหรับ Data Engineering

PostgreSQL - การดูแลระบบ

Data Modeling สำหรับ Data Engineering

Fivetran & Airbyte - การนำเข้าข้อมูล

dbt - พื้นฐาน

Apache Airflow - พื้นฐาน

Kubernetes - พื้นฐาน

dbt - ฟีเจอร์ขั้นสูง

รูปแบบ ETL / ELT / ETLT

Apache Airflow - ขั้นสูง

Airflow + dbt - การจัดการ Pipeline

PySpark - การประมวลผลขนาดใหญ่

Google Pub/Sub - การสตรีมข้อมูล

Apache Beam & Dataflow

Kubernetes - Production และ Scaling

Terraform - Infrastructure as Code

ฐานข้อมูล NoSQL

Data Architecture สมัยใหม่

การมอนิเตอร์และการสังเกตการณ์

IAM และความปลอดภัยของข้อมูล

เชี่ยวชาญ Data Engineering สำหรับการสัมภาษณ์ครั้งถัดไป