# 어휘 크기 ## 개요 **어휘 크기**(ocabulary Size)는 자연어처리(NLP, Natural Language Processing) 모델 설계에서 중요한 하이퍼파라미터 중 하나로, 모델이 인식하고 처리할 수 있는 고유 단어(또는 서브워드 토큰)의 총 수를 의미합니다. 어휘 크기는 언어 모델의 표현 능력, 메모리 사용량, 학습 및 추론 속도,...
검색 결과
"어휘 공유"에 대한 검색 결과 (총 3개)
어휘 확장자연어처리(NLP, Natural Language Processing) 모델 성능은 모델이 이해하고 처리할 수 있는 어휘의 범위에 크게 영향을 받습니다. 특히 언어는 지속적으로 진화하고, 새로운 단어, 줄임말, 신조어, 전문 용어 등이 등장하기 때문에, 모델의 어휘가 고정되어 있을 경우 성능 저하가 불가피합니다. **어휘 확장**(Vocabular...
# Byte Pair Encoding **Byte Pair Encoding**(BPE, 바이 쌍 인코딩)은 자연 처리(NLP) 분야에서 널리 사용되는 하위 단어(Subword) 토큰화 기법 중 하나로, 언어 어휘를 고정된 크기의 어휘 집합(Vocabulary)으로 효율적으로 압축하고, 미등록 단어(Out-of-Vocabulary, OOV) 문제를 완화하는...