목록2025/04/08 (1)
엔지니어 블로그
[DE] Batch, Streaming, MicroBatch
ETL에서는 데이터 수집 및 처리 주기(빈도)가 매우 중요합니다. 수집 주기에 따라 어떤 처리 방식을 선택할지 달라지며, 대표적으로는 다음과 같은 세 가지 방식이 있습니다.BatchStreamingMicroBatch이번 글에서는 각 방식의 개념과 적절한 사용 사례를 정리해보려 합니다.1. Batch란?Batch는 데이터를 일정 시간 동안 모아서 한 번에 처리하는 방식입니다. 예를 들어, 매일 자정에 하루치 로그를 처리하거나, 데이터 양이 일정 기준을 넘었을 때 작업이 실행됩니다.특징데이터를 모아두었다가 일정 주기 또는 임계 데이터량을 기준으로 처리처리 시점에 시스템에 부하가 집중될 수 있음후속 작업이 처리 완료를 기다려야 하는 병목 가능성 존재사용 예시유저 행동 로그 기반 일간, 주간, 월간 보고서주기적..
글공부
2025. 4. 8. 12:01