# 어휘 크기 (Vocabulary Size) ## 1. 개요 **어휘 크기(Vocabulary Size)**란 자연어 처리(NLP) 모델이 텍스트 데이터를 처리하기 위해 정의한 **고유한 토큰(Token)의 총 개수**를 의미한다. 언어 모델은 텍스트를 직접 이해할 수 없으므로, 텍스트를 숫자 형태의 벡터로 변환하는 과정이 필요하다. 이때 모델이 인식할...
검색 결과
검색어를 입력하세요.
검색어를 입력하세요.
# 어휘 크기 (Vocabulary Size) ## 1. 개요 **어휘 크기(Vocabulary Size)**란 자연어 처리(NLP) 모델이 텍스트 데이터를 처리하기 위해 정의한 **고유한 토큰(Token)의 총 개수**를 의미한다. 언어 모델은 텍스트를 직접 이해할 수 없으므로, 텍스트를 숫자 형태의 벡터로 변환하는 과정이 필요하다. 이때 모델이 인식할...