Transformer-XL 1. 개요 Transformer-XL(Extra Long Transformer)은 기존 Transformer 모델의 고정된 컨텍스트 길이 제한을 극복하기 위해 제안된 대규모 언어 모델 아키텍처로, 세그먼트 수준의 재귀 메커니즘을 통해 매우 긴 의존성(Long-term dependency)을 학습할 수 있도록 설계된 모델이다. 기존…
검색 결과
"추상적 요약"에 대한 검색 결과 (총 3개)
CNN/Daily Mail 개요 CNN/Daily Mail(줄여서 C/D M)은 자연어 처리(NLP) 분야에서 추상적 요약(abstractive summarization) 및 추출적 요약(extractive summarization) 모델을 평가하기 위해 널리 사용되는 대규모 벤치마크 데이터셋이다. 2015년 Harvard NLP 연구팀이 공개했으며, 영문…
BART 개요 BART(Bidirectional and-Regressive Transformer)는 자연어(NLP) 분야에서 텍스트 생성 및 이해 작업에 널리 사용되는 시퀀스-투-시퀀스(sequence-to-sequence) 기반의 트랜스포머 아키텍처입니다. 2019년 페이북 AI(Facebook AI, 현재 Meta AI) 연구팀에 의해 제안된 BART는…