
PostgreSQL - ๊ด๋ฆฌ
๊ตฌ์ฑ, ๋ณต์ , ์ธ๋ฑ์ฑ(B-tree, GIN, GiST, BRIN), VACUUM, EXPLAIN ANALYZE, ํ์ฅ, ๋ฐฑ์
1shared_buffers ๋ฐ work_mem๊ณผ ๊ฐ์ ์ฃผ์ ์๋ฒ ๋งค๊ฐ๋ณ์๊ฐ ํฌํจ๋ PostgreSQL ๊ตฌ์ฑ ํ์ผ์ ๋ฌด์์
๋๊น?
shared_buffers ๋ฐ work_mem๊ณผ ๊ฐ์ ์ฃผ์ ์๋ฒ ๋งค๊ฐ๋ณ์๊ฐ ํฌํจ๋ PostgreSQL ๊ตฌ์ฑ ํ์ผ์ ๋ฌด์์ ๋๊น?
๋ต๋ณ
postgresql.conf ํ์ผ์๋ ๋ฉ๋ชจ๋ฆฌ ํ ๋น(shared_buffers, work_mem), ์ฐ๊ฒฐ ์ค์ , ๋ก๊น ๋ฐ ์ฑ๋ฅ ํ๋์ ํฌํจํ ์ฃผ์ PostgreSQL ์๋ฒ ๊ตฌ์ฑ ๋งค๊ฐ๋ณ์๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ์ด ํ์ผ์ ์๋ฒ ์์ ์ ์ฝํ๋ฉฐ ์ผ๋ถ ๋งค๊ฐ๋ณ์๋ ์ ์ฒด ์ฌ์์์ด ํ์ํฉ๋๋ค.
2๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ๋๋ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ ์์ ์ ์ํ๋ PostgreSQL ๋งค๊ฐ๋ณ์๋ ๋ฌด์์
๋๊น?
๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉ๋๋ ๊ณต์ ๋ฉ๋ชจ๋ฆฌ ์์ ์ ์ํ๋ PostgreSQL ๋งค๊ฐ๋ณ์๋ ๋ฌด์์ ๋๊น?
๋ต๋ณ
shared_buffers๋ PostgreSQL์ด ๋ฐ์ดํฐ ์บ์ฑ์ ์ฌ์ฉํ๋ ๋ฉ๋ชจ๋ฆฌ ์์ ์ ์ํฉ๋๋ค. ์ด ๋งค๊ฐ๋ณ์๋ ๋ชจ๋ ์ฐ๊ฒฐ์์ ๊ณต์ ๋๋ ๋ฒํผ ํ์ ํฌ๊ธฐ๋ฅผ ๊ฒฐ์ ํ๋ฏ๋ก ์ฑ๋ฅ์ ๋งค์ฐ ์ค์ํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก PostgreSQL ์ ์ฉ ์๋ฒ์ ๊ฒฝ์ฐ ์ด ์๋ฒ RAM์ 25%์์ 40% ์ฌ์ด๋ก ์ค์ ํ๋ ๊ฒ์ด ๊ถ์ฅ๋ฉ๋๋ค.
3PostgreSQL์ ์คํธ๋ฆฌ๋ฐ ๋ณต์ ์ ๋
ผ๋ฆฌ์ ๋ณต์ ์ ์ฃผ์ ์ฐจ์ด์ ์ ๋ฌด์์
๋๊น?
PostgreSQL์ ์คํธ๋ฆฌ๋ฐ ๋ณต์ ์ ๋ ผ๋ฆฌ์ ๋ณต์ ์ ์ฃผ์ ์ฐจ์ด์ ์ ๋ฌด์์ ๋๊น?
๋ต๋ณ
์คํธ๋ฆฌ๋ฐ ๋ณต์ ๋ ๋ณ๊ฒฝ ์ฌํญ์ WAL(Write-Ahead Log) ์์ค์์ ๋ฐ์ด๋๋ฆฌ ํ์์ผ๋ก ์ ์กํ์ฌ ๊ธฐ๋ณธ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ํํ ๋ณต์ฌ๋ณธ์ ์์ฑํฉ๋๋ค. ๋ ผ๋ฆฌ์ ๋ณต์ ๋ ๋ณ๊ฒฝ ์ฌํญ์ ๋ ผ๋ฆฌ์ SQL ์์ ์ผ๋ก ๋์ฝ๋ฉํ์ฌ ํน์ ํ ์ด๋ธ์ ์ ํ์ ๋ณต์ ์ ๋ณต์ ์ค ๋ฐ์ดํฐ ๋ณํ์ ํ์ฉํฉ๋๋ค. ๋ ผ๋ฆฌ์ ๋ณต์ ๋ ๋ ๋ง์ ์ ์ฐ์ฑ์ ์ ๊ณตํ์ง๋ง ์ฝ๊ฐ ๋ ๋์ ์ค๋ฒํค๋๊ฐ ์์ต๋๋ค.
์ ์ฒด ํ ์คํธ ๊ฒ์ ๋ฐ JSONB ์ปฌ๋ผ์ ๊ฐ์ฅ ์ ํฉํ PostgreSQL ์ธ๋ฑ์ค ์ ํ์ ๋ฌด์์ ๋๊น?
BRIN(Block Range Index)์ด ํนํ ํจ๊ณผ์ ์ธ ๊ฒฝ์ฐ๋ ์ธ์ ์ ๋๊น?
+17 ๋ฉด์ ์ง๋ฌธ
๊ธฐํ Data Engineering ๋ฉด์ ์ฃผ์
Linux & Shell - ๊ธฐ์ด
Git & GitHub - ๊ธฐ์ด
๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ์ํ ๊ณ ๊ธ Python
Docker - ๊ธฐ์ด
Google Cloud Platform - ๊ธฐ์ด
CI/CD ๋ฐ ์ฝ๋ ํ์ง
Docker Compose
FastAPI - ๋ฐ์ดํฐ API
Data Engineering์ ์ํ ๊ณ ๊ธ SQL
Data Lake - ์ํคํ ์ฒ ๋ฐ ์์ง
๋ฐ์ดํฐ ์์ง๋์ด๋ง์ ์ํ BigQuery
Data Engineering์ ์ํ Data Modeling
Fivetran & Airbyte - ๋ฐ์ดํฐ ์์ง
dbt - ๊ธฐ์ด
Apache Airflow - ๊ธฐ์ด
Kubernetes - ๊ธฐ์ด
dbt - ๊ณ ๊ธ ๊ธฐ๋ฅ
ETL / ELT / ETLT ํจํด
Apache Airflow - ๊ณ ๊ธ
Airflow + dbt - ํ์ดํ๋ผ์ธ ์ค์ผ์คํธ๋ ์ด์
PySpark - ๋๊ท๋ชจ ์ฒ๋ฆฌ
Google Pub/Sub - ๋ฐ์ดํฐ ์คํธ๋ฆฌ๋ฐ
Apache Beam & Dataflow
Kubernetes - ํ๋ก๋์ ๋ฐ ์ค์ผ์ผ๋ง
Terraform - Infrastructure as Code
NoSQL ๋ฐ์ดํฐ๋ฒ ์ด์ค
๋ชจ๋ Data Architecture
๋ชจ๋ํฐ๋ง ๋ฐ ๊ด์ฐฐ ๊ฐ๋ฅ์ฑ
IAM ๋ฐ ๋ฐ์ดํฐ ๋ณด์
๋ค์ ๋ฉด์ ์ ์ํด Data Engineering์ ๋ง์คํฐํ์ธ์
๋ชจ๋ ์ง๋ฌธ, flashcards, ๊ธฐ์ ํ ์คํธ, ์ฝ๋ ๋ฆฌ๋ทฐ ์ฐ์ต, ๋ฉด์ ์๋ฎฌ๋ ์ดํฐ์ ์ ๊ทผํ์ธ์.
๋ฌด๋ฃ๋ก ์์ํ๊ธฐ