# Vision Transformer ## 개요 **Vision Transformer**(ViT)는 전통적으로 이미지 인 작업에서 지배적인 위치를 차지해온합성곱 신망**(CNN)과는 다른 접근 방식을 제시한 획기적인 인공지능 모델이다. 2020년 Research 팀이 발표한 논문 *"An Image is Worth 16x16 Words: Transfor...
검색 결과
"Vision Transformer"에 대한 검색 결과 (총 13개)
# 어텐션 메커니즘 ## 개요 **어텐션 메커니즘**(Attention Mechanism)은 인공지능, 특히 딥러닝 기반의 자연어 처리(NLP), 컴퓨터 비전, 음성 인식 등 다양한 분야에서 핵심적인 역할을 하는 신경망 구성 요소입니다. 이 메커니즘은 모델이 입력 데이터의 특정 부분에 더 집중(attention)하도록 유도함으로써, 전체 정보를 균등하게...
# 트랜스포머 아처 ## 개요 **트스포머**(Transformer) 아처는 자연어(NLP) 분야 혁명적인 변화를끌어낸 딥러닝 모델 구조로, 2017년 구글 딥마인드 연구진이 발표한 논문 *"Attention is All You Need"*에서 처음 소개되었습니다. 기존의 순적 처리 방식(RNN LSTM 등)에 의존하던 자연어 모델들과 달리, 트랜스포머...
# 임베딩 계층## 개요 **임베 계층**(Embedding Layer)은 인공지능, 특히 자연어(NLP)와천 시스템 등에서 범주형 데이터를 고차원 실수 벡터로 변환하는 핵심적인 신경망 구성 요소입니다.로 단어, 토큰, 사용자 ID, 상품 카테고리와 같은 이산적(discrete)이고 정수로 표현되는 입력값을 밀집된(dense) 실수 벡터 형태로 매핑하여,...
# 트랜스포머 ## 개요 **트랜스포머**(Transformer는 2017년 구과 유니버시티 오브 토론토 연구진이 발표한 논문 *"Attention is All You Need"*에서안된 딥러닝 기반의 **시퀀스-투-시퀀스**(sequence-to-sequence) 신경망 아키텍처입니다. 이 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리...
# ViT (Vision Transformer## 개요 ViT(V Transformer)는 전통적인 컨루션 신경(Convolutional Neural Network,) 대신 **랜스포머**(Transformer 아키텍처를 기으로 이미지 인식 작업을 수행하는 **컴퓨터비전 모델**입니다. 2020년글 딥마인드(Google Brain) 팀이 발표한 논문 *"...
# 스케일드 닷 프덕트 어텐션 스케드 닷 프로덕트 어션(Scaled Dot-Product Attention) 자연어처리(NLP) 분야에서 가장 핵심적인 어텐션 메커니즘 중 하나로, 특히 트스포머(Transformer) 아키텍처에서 중심적인 역할을 합니다. 이 메커니즘은 입력 시퀀스 내 각 단어 간의 관련성을 효율적으로 계산하여, 모델이 문장의 의미를 보다...
# CLIP: 컨텍스트 기반 다중 모달 모델 ## 개요 **CLIPContrastive Language–Image Pre-training)은 OpenAI에서 2021에 발표한 **티모달 인공지능 모델**로, 이미지와 텍스트 간의 관계를 학습하여 시각적 정보와 언어 정보를 동시에 이해하는 능력을 갖춘 대표적인 모델입니다. CLIP은 전통적인 컴퓨터 비전 ...
# 딥러닝 아키텍 딥러닝 아키텍처는 인지능(Artificial Intelligence, AI의 핵심 기 중 하나로, 인공경망(Artificial Network)을 기반으로 복잡한 데이터 패턴을 학습하고 인식하는 구조를 의미합니다. 특히, 수많은 은닉층(hidden layers)을 포함하는 심층 신경망(deep neural network)을 통해 고차원 데...
# 컴퓨터 비전 ##요 **컴퓨터 비전**(Computer Vision, CV) 컴퓨터가 디지털 이미지나 비디오를 이해하고 해석할 수 있도록 하는 인공지능의 한 분야입니다. 인간의 시각 시스템과 유사하게, 컴퓨터 비전 기술은 시각 정보를 입력으로 받아 객체 인식, 이미지 분류, 위치 추정, 움직임 분석 등 다양한 작업을 수행합니다. 이 기술은 의료 영상...
# 분산 표현 ## 개요 **분산**(Distributed Representation)은공지능, 특히어 처리(Natural Processing, NLP) 딥러닝 분야에서 핵심 개념 중 하나입니다. 이 개별 기호나 단어를 단한 식별자(ID)로 다루는통적인 **희소 표현**(Sparse Representation과 달리, 정보를 고차원 실수 벡터 공간에 분...
# ResNet ## 개요 ResNet(Residual Network)는 2015년 Kaiming He 등이 발표한 딥러닝 아키텍처로, 깊은 신경망에서 발생하는 **Vanishing Gradient 문제**를 해결하기 위해 **잔차 학습(residual learning)** 프레임워크를 제안한 모델입니다. 이 모델은 ImageNet 대회(ILSVRC 20...
```markdown # GAN (Generative Adversarial Network) ## 개요 GAN(Generative Adversarial Network)은 2014년 Ian Goodfellow 등에 의해 제안된 딥러닝 모델로, 생성자(Generator)와 판별자(Discriminator)의 경쟁적 학습을 통해 데이터를 생성합니다. 주로 이미지...