# CNN/Daily Mail ## 개요 **CNN/Daily Mail**(줄여서 **C/D M**)은 자연어 처리(NLP) 분야에서 **추상적 요약(abstractive summarization)** 및 **추출적 요약(extractive summarization)** 모델을 평가하기 위해 널리 사용되는 대규모 벤치마크 데이터셋이다. 2015년 **...
검색 결과
"단어 토큰화"에 대한 검색 결과 (총 5개)
# NLTK ## 개요 NLTK(Natural Language Toolkit는 자연어 처리(Natural Language Processing, NLP)를 위한 파이 기반의 강한 오픈소스 라이브러리입니다.2001년 스티븐 반드레브(Steven Bird), 에반 클라이너(Ewan Klein), 에드워드 로프터스(Edward Loper) 등에 의해 개발되었으...
# WordPiece ## 개요 **WordPiece**는 자연어 처리(Natural Language Processing, NLP 분야에서 널리 사용되는 하위 어휘(subword) 토큰화 기법 중 하나로, 특히 **BERT**(Bidirectional Encoder Representations from Transformers) 모델에서 기본 토큰화 방식...
# Tokenization ## 개요 **토큰화(Tokenization)**는 자연어처리(Natural Language Processing, NLP)의 핵심 전처리 단계 중 하나로, 텍스트를 있는 단위인 **토큰**(Token)으로 나누는 과정을 의미합니다. 이 과정은 언어의 구조를 컴퓨터가 이해하고 처리할 수 있도록 변환하는 첫 번째 단계로, 이후의 ...
# 토큰화 (Tokenization) ## 개요/소개 토큰화는 자연어 처리(NLP) 및 데이터 분석에서 텍스트를 의미 있는 단위로 나누는 기초적인 프로세스입니다. 이 과정은 텍스트를 컴퓨터가 이해할 수 있는 형태로 변환하는 데 필수적이며, 이후 모델 학습, 검색 엔진 구축, 데이터 분석 등 다양한 응용에 활용됩니다. 토큰화는 단어, 문장, 문자 등으로 나...