서브워드 토큰화 (Subword Tokenization) 1. 개요 서브워드 토큰화(Subword Tokenization)란 텍스트를 단어(Word)보다 작고 문자(Character)보다 큰 단위로 분할하여 처리하는 자연어 처리(NLP)의 토큰화 기법이다. 전통적인 토큰화 방식은 크게 두 가지 한계점을 가지고 있었다. 단어 단위 토큰화(Word-level …
검색 결과
"단어 단위 토큰화"에 대한 검색 결과 (총 3개)
BPE (Byte Pair Encoding) 1. 개요 BPE(Byte Pair Encoding)는 자연어 처리(NLP)에서 텍스트를 효율적으로 분절하기 위해 사용되는 서브워드(Subword) 토큰화 알고리즘으로, 빈도 기반의 문자 쌍 병합을 통해 단어와 문자 단위의 중간 형태인 서브워드 어휘집을 구축하는 기법이다. 전통적인 NLP에서는 단어 단위(Word…
어휘 크기 (Vocabulary Size) 1. 개요 어휘 크기(Vocabulary Size)란 자연어 처리(NLP) 모델이 텍스트 데이터를 처리하기 위해 정의한 고유한 토큰(Token)의 총 개수를 의미한다. 언어 모델은 텍스트를 직접 이해할 수 없으므로, 텍스트를 숫자 형태의 벡터로 변환하는 과정이 필요하다. 이때 모델이 인식할 수 있는 '단어 사전'의…