# CNN/Daily Mail ## 개요 **CNN/Daily Mail**(줄여서 **C/D M**)은 자연어 처리(NLP) 분야에서 **추상적 요약(abstractive summarization)** 및 **추출적 요약(extractive summarization)** 모델을 평가하기 위해 널리 사용되는 대규모 벤치마크 데이터셋이다. 2015년 **...
검색 결과
"문장 토큰화"에 대한 검색 결과 (총 3개)
# NLTK ## 개요 NLTK(Natural Language Toolkit는 자연어 처리(Natural Language Processing, NLP)를 위한 파이 기반의 강한 오픈소스 라이브러리입니다.2001년 스티븐 반드레브(Steven Bird), 에반 클라이너(Ewan Klein), 에드워드 로프터스(Edward Loper) 등에 의해 개발되었으...
# Tokenization ## 개요 **토큰화(Tokenization)**는 자연어처리(Natural Language Processing, NLP)의 핵심 전처리 단계 중 하나로, 텍스트를 있는 단위인 **토큰**(Token)으로 나누는 과정을 의미합니다. 이 과정은 언어의 구조를 컴퓨터가 이해하고 처리할 수 있도록 변환하는 첫 번째 단계로, 이후의 ...