# Masked Language Modeling ## 개요 Masked Language Modeling(MLM)은 자연어 처리(NLP) 분야에서 사용되는 자기지도 학습(Self-Supervised Learning) 기법으로, 언어 모델을 사전 훈련(Pre-Training)하는 데 핵심적인 역할을 합니다. 이 기법은 입력 텍스트의 일부 토큰을 무작위로 마스...
검색 결과
"파라미터 업데이트"에 대한 검색 결과 (총 3개)
```markdown # GAN (Generative Adversarial Network) ## 개요 GAN(Generative Adversarial Network)은 2014년 Ian Goodfellow 등에 의해 제안된 딥러닝 모델로, 생성자(Generator)와 판별자(Discriminator)의 경쟁적 학습을 통해 데이터를 생성합니다. 주로 이미지...
# 미니 배치 경사 하강법 ## 개요 미니 배치 경사 하강법(Mini-Batch Gradient Descent)은 기계 학습에서 파라미터 최적화를 위한 주요 알고리즘 중 하나로, **배치 경사 하강법(Batch Gradient Descent)**과 **스토캐스틱 경사 하강법(Stochastic Gradient Descent)**의 중간 형태이다. 이 방법...