# SentencePiece ## 개요 **SentencePiece**는 구글이 개발한 오픈소스 자연어 처리(NLP) 라이브러리로, 언어 모델링 및 기계 번역 작업에서 사용되는 **서브워드 토크나이제이션**(subword tokenization) 기법을 구현하는 도구입니다. 기존의 단어 기반 또는 문자 기반 토크나이제이션 방식의 한계를 극복하기 위해 설...
검색 결과
"언어 독립성"에 대한 검색 결과 (총 2개)
# XML ## 개 **XML**(eXtensible Markup Language은 데이터의 구를 정의하고 문서 저장하거나 전송하기 위한 마크업 언어입니다. 1996년 세계웹컨소시엄(W3C)에서 개발된 XML은 HTML과 유사한 태그 기반 구조를 가지지만, HTML이 웹 페이지의 시각적 표현에 초점을 맞추는 반면, XML은 **데이터의 의미와 구조**에...