서브워드 토큰화 (Subword Tokenization) 1. 개요 서브워드 토큰화(Subword Tokenization)란 텍스트를 단어(Word)보다 작고 문자(Character)보다 큰 단위로 분할하여 처리하는 자연어 처리(NLP)의 토큰화 기법이다. 전통적인 토큰화 방식은 크게 두 가지 한계점을 가지고 있었다. 단어 단위 토큰화(Word-level …
검색 결과
"문자 단위 토큰화"에 대한 검색 결과 (총 2개)
어휘 크기 (Vocabulary Size) 1. 개요 어휘 크기(Vocabulary Size)란 자연어 처리(NLP) 모델이 텍스트 데이터를 처리하기 위해 정의한 고유한 토큰(Token)의 총 개수를 의미한다. 언어 모델은 텍스트를 직접 이해할 수 없으므로, 텍스트를 숫자 형태의 벡터로 변환하는 과정이 필요하다. 이때 모델이 인식할 수 있는 '단어 사전'의…