서브워드 (Subword) 서브워드(Subword)는 자연어 처리(Natural Language Processing, NLP) 분야에서 단어(Word)와 문자(Character)의 중간 단계에 해당하는 어휘 단위(Vocabulary Unit)를 의미합니다. 기존 단어 기반 토큰화(Tokenization) 방식이 가진 한계, 특히 희귀어 처리 문제와 어휘 사…
검색 결과
검색어를 입력하세요.
SentencePiece 개요 SentencePiece는 구글이 개발한 오픈소스 자연어 처리(NLP) 라이브러리로, 언어 모델링 및 기계 번역 작업에서 사용되는 서브워드 토크나이제이션(subword tokenization) 기법을 구현하는 도구입니다. 기존의 단어 기반 또는 문자 기반 토크나이제이션 방식의 한계를 극복하기 위해 설계되었으며, 언어에 독립적인…