자기-어텐션 (Self-Attention) 1. 개요 자기-어텐션(Self-Attention)은 입력 시퀀스 내의 각 토큰이 동일한 시퀀스 내의 다른 모든 토큰과의 관계를 계산하여, 현재 토큰의 의미를 가장 잘 설명하는 문맥적 정보를 동적으로 추출하는 메커니즘이다. 이는 입력 데이터의 각 요소가 서로 어떤 연관성을 가지고 있는지를 파악함으로써, 문장 내의 …
검색 결과
"어텐션 맵"에 대한 검색 결과 (총 3개)
트랜스포머 개요 트랜스포머(Transformer)는 자연어처리LP) 분야 혁신적인 영향을 미친 딥러닝 아키텍처로, 2017년글과 빌런드 연구소의 연구자들이 발표한 논문 "Attention is All You Need"에서 처음 소개되었습니다. 기존의 순차적 처리 방식을 기반으로 한 순환신경망(RNN)이나 합성곱신경망(CNN)과 달리, 트랜스포머는 어텐션 메…
ViT (Vision Transformer 개요 ViT(V Transformer)는 전통적인 컨루션 신경(Convolutional Neural Network,) 대신 랜스포머(Transformer 아키텍처를 기으로 이미지 인식 작업을 수행하는 컴퓨터비전 모델입니다. 2020년글 딥마인드(Google Brain) 팀이 발표한 논문 "An Image is Wo…