# RSS (Residual Sum of Squares) **RSS**(Residual Sum of Squares, 잔차 제곱합)는 통계학, 특히 **회귀분석(Regression Analysis)**에서 통계 모델의 적합도(Goodness of Fit)를 평가하는 핵심 지표 중 하나입니다. RSS는 관측된 데이터 값과 모델이 예측한 값 사이의 차이인 **...
검색 결과
"파라미터 수"에 대한 검색 결과 (총 37개)
# 혼합 전문가 모델 (Mixture of Experts, MoE) ## 개요 **혼합 전문가 모델**(Mixture of Experts, 줄여서 **MoE**)은 대규모 언어 모델(LLM) 및 딥러닝 아키텍처에서 사용되는 효율적인 신경망 설계 패턴입니다. MoE의 핵심 아이디어는 단일 거대한 모델 대신, 여러 개의 작은 '전문가(Expert)' 네트워...
# 파괴적 망각 (Catastrophic Forgetting) 파괴적 망각은 연속 학습(Continual Learning) 환경에서 인공지능 모델이 새로운 작업을 학습하는 과정에서 기존 작업의 성능이 급격히 저하되는 현상을 의미합니다. 이는 인간 학습자가 새로운 지식을 습득하더라도 기존 지식을 완전히 잊지 않는 능력과 대비되는 머신러닝의 근본적인 한계 중...
# 순환 신경망 (Recurrent Neural Network, RNN) ## 개요 **순환 신경망**(Recurrent Neural Network, 약자 **RNN**)은 인공 신경망의 한 종류로, 시계열 데이터나 연속된 데이터 시퀀스를 처리하는 데 특화된 아키텍처입니다. 기존 전진 신경망(Feedforward Neural Network)이 입력과 출...
# 사전 학습 (Pre-training) ## 개요 사전 학습(Pre-training)은 인공지능, 특히 딥러닝 모델 개발 파이프라인에서 가장 초기이자 핵심적인 단계로, 방대한 양의 일반 데이터셋을 활용하여 모델이 세계에 대한 기본적인 지식과 패턴을 학습시키는 과정입니다. 이 단계에서 훈련된 모델은 특정 작업에 최적화되지 않은 '기반 모델(Foundati...
# 가중치 행렬 ## 개요 **가중치 행렬**(Weight Matrix)은 인공신경망(Artificial Neural Network, ANN)의 핵심 구성 요소 중 하나로, 뉴런 간의 연결 강도를 수치적으로 표현한 행렬입니다. 이 행렬은 입력 신호가 네트워크를 통해 전파될 때 각 연결 경로에 적용되는 가중치를 담고 있으며, 신경망이 학습하는 과정은 주로...
# GPT-3.5 ## 개요 GPT-3.5는 OpenAI에서 개발한 대규모 언어 모델(Large Language Model, LLM)로, GPT-3 이후의 개선 버전에 해당하는 모델군을 지칭합니다. 정식 명칭은 공개되지 않았으나, OpenAI의 API 및 제품에서 사용되는 모델 중 하나로, 특히 **ChatGPT의 초기 버전**에 기반을 두고 있습니다....
# BERT-Base BERT-Base는 자연어 처리(NLP) 분야에서 혁신적인 전환을 가져온 **Bidirectional Encoder Representations from Transformers**(BERT) 모델의 기본 버전 중 하나로, 구글 연구팀에 의해 2018년에 발표되었습니다. BERT는 이전의 단방향 언어 모델과 달리 문장 내 모든 단어를 ...
# EfficientNet-B0 ## 개요 **EfficientNet-B0**은 구글 리서치(Google Research)에서 2019년에 제안한 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처로, **EfficientNet**(Efficient Neural Network) 시리즈의 가장 작은 모델이다. Effic...
# EfficientNet-B0 ## 개요 **EfficientNet-B0**은 구글 리서치(Google Research)에서 2019년에 제안한 컨볼루션 신경망(Convolutional Neural Network, CNN) 아키텍처로, 깊이, 너비, 해상도의 세 가지 축을 동시에 조정하여 모델의 확장성과 효율성을 극대화한 **EfficientNet**...
# RNN (Recurrent Neural Network) ## 개요 **RNN**(Recurrent Neural Network, 순환 신경망)은 시계열 데이터나 순적 데이터(sequence data)를 처리하기 위해 설계된 딥러 기반 신경망 모델입니다. 일반적인 피포워드 신경망(Feed Neural Network)이 입력 데이터를 독립적인 단위로 간주...
# 합성곱 신망 ## 개요 **합성곱경망**(Convolutional Network, 이하 CNN)은공지능, 컴퓨터 비전(Computer) 분야에서 가장 핵심적인 신경망 모델 하나입니다. CNN 이미지, 비디오 음성 등의 **격자 형태**(grid-like) 데이터를 효율적으로 처리할 수 있도록 설계된 심 신경망 구조로,의 시각 시스템을 모방한 아키텍처...
# BART ##요 **BART**(Bidirectional and Autogressive Transformer)는 자연어처리LP) 분야에서 널리되는 **사전 훈련된 언어 모델** 중 하나로, 2019년 페이스 AI 리서치(Facebook AI Research FAIR)에서 제안. BART는 기존의 BERT와 GPT의 장점을 결합한 하이브리드 구조를 특...
# GPT ## 개요 GPT(G Pre-trained Transformer) 오픈AI(OpenAI)에서 개발한 **대규모 언어 모델**(Large Language Model, LLM) 시리즈로, 자연어 처리(NLP) 분야에서 혁신적인과를 이룬 대표적인 생성형 인공지능 모델이다. GPT는 **변환기**(Transformer) 아키텍처를 기반으로 하며, 방...
# Dense ## 개요 **Dense**는 인공지, 특히 **신경망**(Neural Network)의 구성 요소 중 하나로, **완전 연결층**(Fully Connected Layer이라고도 불립. 이 층은 신망의 기본적인조 단위로서 입력 노드와 출력드 사이의 모든 가능한을 포함하고 있습니다 딥러닝 모델에서 주로 분류, 회귀 등의 최종 출력을 생성하거...
순서형 로스틱 회귀 ## 개요**순서형 로지스 회귀**(Ordinal Regression)는 종속(dependent variable)가 **서형 범주**(ordinal categorical)일 때 사용하는 통계적 회귀석 기법이다. 일반적인 로지스틱 회귀가 이진(binary) 또는 명목형(nominal) 범주형 변수를 예측하는 데 사용된다면, 순서형 로지스...
# 트랜스포머 ## 개요 **트랜스포머**(Transformer는 2017년 구과 유니버시티 오브 토론토 연구진이 발표한 논문 *"Attention is All You Need"*에서안된 딥러닝 기반의 **시퀀스-투-시퀀스**(sequence-to-sequence) 신경망 아키텍처입니다. 이 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리...
# T5: Text-to-Text Transfer Transformer ## 개요 **T5**(Text-to-Text Transformer)는 구글(Google) 연구팀이 2019년에 발표한 자연어(NLP) 모델로, 다양한어 이해 및 생성을 **문자 그 하나의 통일된 프레임크**로 처리할 수 있도록계된 대규모 트랜스포머 기반 모델. T5는모든 자연어처리...
# BERT ## 개요 **BERT**(Bidirectional Encoder Represent from Transformers)는어 처리(NLP)야에서 혁신적인과를 이룬러닝 기반 언어 모델로, 구글(Google) 연구팀이 2018년에 발표한 머신러닝 모델이다. BERT는 이전의 단방향 언어 모델들과 달리 **양방향 컨텍스트**(Bidirectional...
# Bidirectional Encoder Represent from Transformers ## 개요 **Bid Encoder Representations from Transformers**(BERT는 자연어 처리(NLP) 분야 혁신적인 성를 이룬 언어델로, 018년글(Google) 연구에 의해 개발. BERT는 이전의 단방향 언어 모델들(예: GPT...