KoELECTRA 1. 개요 KoELECTRA는 구글(Google)이 제안한 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately) 모델의 구조를 한국어 데이터셋에 맞게 최적화하여 사전 학습(Pre-training)시킨 한국어 특화 언어 모델이다. 기존의 B…
검색 결과
"Binary Cross-Entropy"에 대한 검색 결과 (총 7개)
역전파 알고리즘 (Backpropagation) 1. 개요 역전파 알고리즘(Backpropagation)은 인공신경망(Artificial Neural Network)의 가중치를 업데이트하기 위해 손실 함수의 기울기를 효율적으로 계산하는 방법이다. 출력층에서 발생한 오차를 입력층 방향으로 역방향으로 전파하며 각 층의 가중치(Weight)와 편향(Bias)을 …
ELECTRA 개요 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)는 2020년 구글 리서치(Google Research) 팀이 제안한 자연어 처리(NLP) 기반 사전 학습(pre-training) 방법론입니다. 기존 BERT 모델에서 널리 사용되던 …
Denoising Autoencoders (DAE) 본 문서는 수식을 사용하여 작성되었습니다. 1. 개요 Denoising Autoencoder (DAE)는 입력 데이터에 의도적으로 노이즈(Noise)를 추가한 뒤, 이를 다시 원본 데이터로 복원하도록 학습함으로써 데이터의 강건한(Robust) 특징을 추출하는 비지도 학습 기반의 신경망 구조이다. 일반적인 …
Categorical Cross-Entropy (범주형 교차 엔트로피) 개요 Categorical Cross-Entropy(범주형 교차 엔트로피)는 머신러닝, 특히 딥러닝 분야에서 다중 클래스 분류(Multi-class Classification) 문제의 손실 함수(Loss Function)로 널리 사용되는 지표입니다. 이 함수는 모델이 예측한 확률 분포와…
CheXNet 개요 CheXNet은 딥러닝 기반의 의료 영상 분석 모델로, 흉부 X-선 이미지에서 흉부 질환을 탐지하는 데 특화되어 개발된 인공의 연구팀이 2017년에 발표한 이 모델은 의료 인공지능 분야에서 중요한 이정표로 평가, 방사선 전문의 수준의 성능을 달성했다는 점에서 주목을 받았습니다. CheXNet은 대규모 공개 흉부 X-선 데이터셋인 CheX…
비용 함수 개요 비용 함수(Cost Function), 손실 함수(Loss Function는 머신러닝 및 데이터과학에서 모델의 예측 성능을 정적으로 평가하는 데 사용되는 핵심 개념이다. 이 함수는 모이 실제 데이터를 기반으로 예측한 값과 실제 관측값 사이의 차이, 즉 '오차'를 수치화하여 모델이 얼마나 잘못 예측하고 있는지를 나타낸다. 비용 함수의 목적은 …