# 반정밀도 (Half-Precision) **반정밀도**(Half-Precision)는 부동소수점 숫자를 표현하기 위해 **16비트(2바이트)**의 메모리 공간을 사용하는 데이터 형식입니다. 일반적으로 **FP16**(Floating Point 16) 또는 **IEEE 754-2008 표준의 binary16** 형식으로 불립니다. 전통적인 컴퓨팅 환경...
검색 결과
"Mixed Precision"에 대한 검색 결과 (총 3개)
# 사전 학습 (Pre-training) ## 개요 사전 학습(Pre-training)은 인공지능, 특히 딥러닝 모델 개발 파이프라인에서 가장 초기이자 핵심적인 단계로, 방대한 양의 일반 데이터셋을 활용하여 모델이 세계에 대한 기본적인 지식과 패턴을 학습시키는 과정입니다. 이 단계에서 훈련된 모델은 특정 작업에 최적화되지 않은 '기반 모델(Foundati...
# 배치 크기 ## 개요 배치 크기(Batch Size)는 머신러닝 모델 훈련 중 **데이터 샘플을 한 번에 처리하는 수량**을 의미합니다. 이 값은 경사 하강법(Gradient Descent)과 같은 최적화 알고리즘에서 매개변수 업데이트의 주기를 결정하며, 모델 학습 속도, 메모리 사용량, 수렴 성능에 직접적인 영향을 미칩니다. 배치 크기는 일반...