Structured Streaming 개요 Structured Streaming은 아치 스파크(Apache Spark) 2.0 버전부터 도입된 고수준 스트리밍 처리 엔진으로, 실시간 데이터 스트림을 마치 정적 데이터를 다루는 것처럼 선언형 방식으로 처리할 수 있도록 설계되었습니다. 기존의 스파크 스트리밍(Spark Streaming)이 마이크로배치(Micr…
검색 결과
"Dataset API"에 대한 검색 결과 (총 2개)
배치 크기 개요 배치 크기(Batch Size)는 머신러닝 모델 훈련 중 데이터 샘플을 한 번에 처리하는 수량을 의미합니다. 이 값은 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘에서 매개변수 업데이트의 주기를 결정하며, 모델 학습 속도, 메모리 사용량, 수렴 성능에 직접적인 영향을 미칩니다. 배치 크기는 일반적으로 작은 값(예: 1~…