# 트랜스포머 ## 개요 **트랜스포머**(Transformer는 2017년 구과 유니버시티 오브 토론토 연구진이 발표한 논문 *"Attention is All You Need"*에서안된 딥러닝 기반의 **시퀀스-투-시퀀스**(sequence-to-sequence) 신경망 아키텍처입니다. 이 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리...
검색 결과
"어텐션"에 대한 검색 결과 (총 51개)
# 텍스트 요약## 개요 **텍스트 요약**( Summarization)은 자연어처리(Natural Language Processing, NLP)의 주요 응용 기술 중 하나로, 주어진 텍스트의 핵심 내용을 보하면서 그 길이를 줄여 요약본 생성하는 작업을 말한다. 정보 과부하 시대에 대량의 텍스트 데이터 효율적으로 소화하고 이해하기 위해 텍스트 요약 기술은...
# ViT (Vision Transformer## 개요 ViT(V Transformer)는 전통적인 컨루션 신경(Convolutional Neural Network,) 대신 **랜스포머**(Transformer 아키텍처를 기으로 이미지 인식 작업을 수행하는 **컴퓨터비전 모델**입니다. 2020년글 딥마인드(Google Brain) 팀이 발표한 논문 *"...
# BERT ## 개요 **BERT**(Bidirectional Encoder Represent from Transformers)는어 처리(NLP)야에서 혁신적인과를 이룬러닝 기반 언어 모델로, 구글(Google) 연구팀이 2018년에 발표한 머신러닝 모델이다. BERT는 이전의 단방향 언어 모델들과 달리 **양방향 컨텍스트**(Bidirectional...
# Bidirectional Encoder Represent from Transformers ## 개요 **Bid Encoder Representations from Transformers**(BERT는 자연어 처리(NLP) 분야 혁신적인 성를 이룬 언어델로, 018년글(Google) 연구에 의해 개발. BERT는 이전의 단방향 언어 모델들(예: GPT...
# Neural Machine Translation ## 개요 **Neural Machine Translation**(하 NMT)은 딥러 기반의 자연어 처리 기술, 기계 번역의 정확도와 자연스러움을 크게 향상시킨 혁신적인 방법입니다. 기존의 통계 기반 기계 번역(Statistical Machine Translation, SMT)과 규칙 기반 번역 시스템...
# 음성 인식 ## 개요 **음성 인식**(Speech Recognition)은 인간의성을 기계가 이해하고 텍스트 또는 명령어로 변환하는 인공지능 기술의 한 분야로, 머신러닝과 자연어 처리 기술을 기반으로 한다. 이 기술은마트폰, 스마트 스피커, 자동차 내비게이션, 콜센터 자동화 등 다양한 산업과 일상생활에 널리 활용되고 있다. 음성 인식 시스템은 음성...
# 인공지능 ## 개요 **인공지능Artificial Intelligence, AI)은 인간의 지능을 모방하거나 이를월하는 기계적 시스템을 설계하고 구현하는 컴퓨터 과학의 한 분입니다. 인공지능은 인간이 보이는 사고, 학습, 추론, 인식, 문제 해결, 의사 결정 등의 능력을 소프트웨어나 하드웨어를 통해 재현하는 것을 목표로 합니다. 최근 수십 년간 컴퓨...
# 장기 기억 신경망## 개요 **장기 신경망**(Long Short-T Memory, LSTM)은 순환 신망(Recurrent Neural Network,NN)의 한형으로, 시계열 데이터나 순차적 데이터를 효과적으로 처리하기 위해 설계 인공신경망 구조입니다. 전통적인 RNN은 장기 의존성(long-term dependencies) 문제, 즉 오래된 정보...
# Vision Transformer ## 개요 **Vision Transformer**(ViT)는 전통적으로 이미지 인 작업에서 지배적인 위치를 차지해온합성곱 신망**(CNN)과는 다른 접근 방식을 제시한 획기적인 인공지능 모델이다. 2020년 Research 팀이 발표한 논문 *"An Image is Worth 16x16 Words: Transfor...
# 장기 의존성 연어처리(Natural Language, NLP) 분야에서장기 의존성**(Long-term dependency)은 언어의 구조적 특성 중 하나로, 문장이나 텍스트 내에서 멀리 떨어져 있는 단어나 구절 사이의 의미적, 문법적 관계를 유지하고 이해하는 능력을 의미합니다. 이는 자연어가 가지는 순차적이고 맥락 의존적인 특성에서 비롯되며, 인공지...
다중 헤드 주의 ## 개요 **중 헤드 자기 주의**(-Head Self-Attention)는 자연 처리(NLP) 분야에서리 사용되는 **트랜스포머**(Transformer) 아키텍처의 핵심 구성 요소입니다. 이커니즘은 입력 시퀀스 내의 각 단어(또는 토큰)가 다른 단어들과 어떻게 관계되어 있는지를 병렬적으로 분석함으로써, 문맥적 의미를 효과적으로 포착...
# 자기 주의 자기 주의(자기어텐션, Self-Attention)는 딥러닝, 특히 인공지능 자연어 처리(NLP) 분야에서 핵심적인 역할을 하는 신망 구성 요소. 이 메커니즘은 입력 시퀀스 내의 각 요소가 다른 요소들과 어떻게 관계되는지를 모델이 학습할 수 있도록 하며, 전통적인 순환 신경망(RNN)이나 합성곱 신경망(CNN)보다 더 유연하고 강력한 표현 ...
U-Net 개요 UNet은 이미지 분(Image Segmentation) 작업에서 널리 사용되는 **합성곱 신경망**(Convolutional Neural Network, CNN) 구조로, 2015년 독일 프라이부르크 대학교의 Olaf Ronneberger, Philipp, Thomas Brox에 의해 발표된 모델이다. 이 모델은 주로 **의료 영상 ...
# 출력 게이트 개요 **출력 게이트**(Output)는 장단기 기억 장치(Long Short-Term Memory, LSTM)와 같은 순환 신경망(Recurrent Neural Network, R)의 핵심 구성 요소 중 하나로, 네트워크의 출력값을 조절하는 역할을 한다. 출력 게이트는 내 메모리 상태(Cell State)에서 얼마나 많은 정보를 최종...
삽입 ##요 자연처리(Natural Language Processing NLP) 분야에서 **삽입**(Insertion)은 텍스트의 특정 위치 새로운 토큰(token),어, 문장 또는 단위를 추가 편집 연산의 한 형태입니다. 이는계번역,스트 생성, 문장 보완, 오류 수정, 그리고 요약 등 다양한 NLP 작업에서 핵심적인 역할을 하며, 언어의 유창성과 의...
# 딥러닝 아키텍 딥러닝 아키텍처는 인지능(Artificial Intelligence, AI의 핵심 기 중 하나로, 인공경망(Artificial Network)을 기반으로 복잡한 데이터 패턴을 학습하고 인식하는 구조를 의미합니다. 특히, 수많은 은닉층(hidden layers)을 포함하는 심층 신경망(deep neural network)을 통해 고차원 데...
# 텍스트 생성 ##요 **텍스트 생성**(Text Generation)은 자연어처리(NLP, Natural Language Processing)의 핵심 기술 중 하나로, 기계가 인간과 유사한 방식으로 자연스러운 언어를 생성하는 능력을 의미합니다. 이 기술은 단순한 문장 조합을 넘어 문맥을 이해하고, 주제에 맞는 내용을 생성하며, 문체와 어조까지 조절할...
# 트랜스포머 ## 개요 **트랜스포머**(Transformer)는 자연어처리LP) 분야 혁신적인 영향을 미친 딥러닝 아키텍처로, 2017년글과 빌런드 연구소의 연구자들이 발표한 논문 *"Attention is All You Need"*에서 처음 소개되었습니다. 기존의 순차적 처리 방식을 기반으로 한 순환신경망(RNN)이나 합성곱신경망(CNN)과 달리,...
# RoBERTa ## 개요 RoBERTa(**Robustly Optimized BERTtraining Approach**)는 자연어 처리(NLP) 분야에서 널리 사용되는 언어 모델로, BERT(Bidirectional Encoder Representations from Transformers)를 개선하여 더 강력하고 효율적인 성능을 발휘하도록 설계된 ...