# Byte Pair Encoding **Byte Pair Encoding**(BPE, 바이 쌍 인코딩)은 자연 처리(NLP) 분야에서 널리 사용되는 하위 단어(Subword) 토큰화 기법 중 하나로, 언어 어휘를 고정된 크기의 어휘 집합(Vocabulary)으로 효율적으로 압축하고, 미등록 단어(Out-of-Vocabulary, OOV) 문제를 완화하는...
검색 결과
"어휘 생성"에 대한 검색 결과 (총 1개)
"어휘 생성"에 대한 검색 결과 (총 1개)
# Byte Pair Encoding **Byte Pair Encoding**(BPE, 바이 쌍 인코딩)은 자연 처리(NLP) 분야에서 널리 사용되는 하위 단어(Subword) 토큰화 기법 중 하나로, 언어 어휘를 고정된 크기의 어휘 집합(Vocabulary)으로 효율적으로 압축하고, 미등록 단어(Out-of-Vocabulary, OOV) 문제를 완화하는...