트랜스포머 개요 트랜스포머(Transformer)는 자연어처리LP) 분야 혁신적인 영향을 미친 딥러닝 아키텍처로, 2017년글과 빌런드 연구소의 연구자들이 발표한 논문 "Attention is All You Need"에서 처음 소개되었습니다. 기존의 순차적 처리 방식을 기반으로 한 순환신경망(RNN)이나 합성곱신경망(CNN)과 달리, 트랜스포머는 어텐션 메…
검색 결과
"Residual Connection"에 대한 검색 결과 (총 14개)
트랜스포머 (Transformer) 0. 빠른 시작 (Quick Start) 입문자를 위한 트랜스포머 아키텍처의 핵심 요약입니다. 한 줄 정의: 순환 신경망(RNN)의 순차적 처리 한계를 극복하고, 셀프 어텐션(Self-Attention) 메커니즘만을 사용하여 데이터 전체를 병렬로 처리하는 딥러닝 모델입니다. 핵심 키워드: 셀프 어텐션, 멀티 헤드 어텐션,…
이미지넷 (ImageNet) 이미넷(ImageNet)은 대규모의 고해상도 이미지 데이터셋과 해당 이미지에 대한 엄격한 레이블링을 제공하는 오픈 소스 프로젝트이자 관련 연구 커뮤니티입니다. 주로 컴퓨터 비전(Computer Vision) 분야의 알고리즘 개발, 평가, 그리고bench marking(벤치마킹)을 위해 사용되며, 현대 인공지능, 특히 딥러닝 기반…
잔차 연결 (Residual Connection) 개요 잔차 연결(Residual Connection), 또는 잔차 학습(Residual Learning)은 심층 신경망(Deep Neural Network)의 학습 효율성을 획기적으로 개선하기 위해 도입된 핵심 기법입니다. 이 개념은 특히 딥러닝(Deep Learning) 모델에서 층(Layer)이 깊어질수…
가중치 (Weight) 가중치(Weight)는 인공 신경망(Artificial Neural Network, ANN) 및 머신러닝 모델에서 입력 데이터의 중요도를 결정하는 핵심 매개변수입니다. 신경망이 학습을 통해 데이터를 이해하고 예측하는 과정에서 가장 중요한 역할을 하며, 모델의 성능을 결정짓는 가장 큰 요소 중 하나입니다. 이 문서에서는 가중치의 정의,…
Adapter 모듈 개요 Adapter 모듈(Adapter Module)은 사전 학습된 대규모 인공지능 모델(Transformer, Vision Transformer 등)에 경량의 trainable 레이어를 삽입하여 파라미터 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT)을 가능하게 하는 구조입니다. 대규모 언어 모델…
EfficientNet-B0 개요 EfficientNet-B0은 구글 리서치(Google Research)에서 2019년에 제안한 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처로, 깊이, 너비, 해상도의 세 가지 축을 동시에 조정하여 모델의 확장성과 효율성을 극대화한 EfficientNet 시리즈의 기준 모델(bas…
트랜스포머 기반 모델 개요 트랜스포머 기반 모델(Transformer-based model)은 자연어처리(NLP) 분야에서 혁신적인 전환을 이끈 딥러닝 아키텍처로, 2017년 구글의 연구팀이 발표한 논문 "Attention Is All You Need"에서 처음 제안되었습니다. 기존의 순환신경망(RNN)이나 컨볼루션 신경망(CNN) 기반 모델과 달리, 트랜…
합성곱 신망 개요 합성곱경망(Convolutional Network, 이하 CNN)은공지능, 컴퓨터 비전(Computer) 분야에서 가장 핵심적인 신경망 모델 하나입니다. CNN 이미지, 비디오 음성 등의 격자 형태(grid-like) 데이터를 효율적으로 처리할 수 있도록 설계된 심 신경망 구조로,의 시각 시스템을 모방한 아키텍처를 기반으로 합니다. 기존의…
트랜스포머 개요 트랜스포머(Transformer는 2017년 구과 유니버시티 오브 토론토 연구진이 발표한 논문 "Attention is All You Need"에서안된 딥러닝 기반의 시퀀스-투-시퀀스(sequence-to-sequence) 신경망 아키텍처입니다. 이 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리 전혀 다른 접근 방식을 취하며…
ViT (Vision Transformer 개요 ViT(V Transformer)는 전통적인 컨루션 신경(Convolutional Neural Network,) 대신 랜스포머(Transformer 아키텍처를 기으로 이미지 인식 작업을 수행하는 컴퓨터비전 모델입니다. 2020년글 딥마인드(Google Brain) 팀이 발표한 논문 "An Image is Wo…
딥러닝 아키텍 딥러닝 아키텍처는 인지능(Artificial Intelligence, AI의 핵심 기 중 하나로, 인공경망(Artificial Network)을 기반으로 복잡한 데이터 패턴을 학습하고 인식하는 구조를 의미합니다. 특히, 수많은 은닉층(hidden layers)을 포함하는 심층 신경망(deep neural network)을 통해 고차원 데이터(…
GPT-2 개요 GPT-2(Generative Pre-trained Transformer2)는 OpenAI에서 2019년 발표한 대규모 언어 모델로, 자연어 처리(NLP) 분야에서 획기적인 성과를 거둔 모델 중 하나입니다. GPT-2는 트랜스포머(Transformer) 아키텍처를 기반으로 하며, 방대한 양의 인터넷 텍스트를 학습하여 텍스트 생성, 질문 응답…
컨볼루셔널 네트워크 개요 컨볼루셔널 네트워크(Convolutional Neural Network, CNN)는 딥러닝의 주요 기술 중 하나로, 이미지 처리, 음성 인식, 자연어 처리 등 다양한 분야에서 활용됩니다. 이 네트워크는 畳み込み(Convolutions) 연산을 통해 입력 데이터의 특징을 자동으로 추출하고, 풀링(Pooling) 기법으로 차원 축소를 …