# 언어 소멸 ## 개요 **언어 소멸**(language extinction)은 특정 언어를 사용하는 사람이 사라져 그 언어가 더 이상 화자에 의해 구사되지 않게 되는 현상을 말한다. 언어는 단순한 의사소통 도구를 넘어서, 한 공동체의 역사, 문화, 세계관, 전통 지식을 담고 있는 중요한 유산이다. 그러나 오늘날 전 세계적으로 수천 개의 언어가 소멸 ...

# 요약 생성 ## 개요 **요약 생성**(Summarization)은 자연어처리(NLP, Natural Language Processing) 분야의 핵심 응용 기술 중 하나로, 긴 텍스트의 핵심 정보를 보존하면서 더 짧고 간결한 형태로 재구성하는 작업을 말합니다. 이 기술은 정보 과잉 시대에 사용자가 방대한 텍스트 자료(예: 뉴스 기사, 학술 논문, ...

# Tokenization ## 개요 **토큰화(Tokenization)**는 자연어처리(Natural Language Processing, NLP)의 핵심 전처리 단계 중 하나로, 텍스트를 있는 단위인 **토큰**(Token)으로 나누는 과정을 의미합니다. 이 과정은 언어의 구조를 컴퓨터가 이해하고 처리할 수 있도록 변환하는 첫 번째 단계로, 이후의 ...