스펙트럼 정규화 (Spectral Normalization) 1. 개요 스펙트럼 정규화(Spectral Normalization)는 신경망의 가중치 행렬의 스펙트럼 노름(Spectral Norm)을 1로 제한하여, 함수가 립시츠 연속성(Lipschitz Continuity)을 갖도록 강제하는 정규화 기법이다. 이 기법은 주로 생성적 적대 신경망(GAN)의 …
검색 결과
"립시츠 연속"에 대한 검색 결과 (총 2개)
준뉴턴 방법 (Quasi-Newton Methods) 준뉴턴 방법(Quasi-Newton Methods)은 목적 함수의 2차 미분 정보인 헤시안 행렬(Hessian Matrix)을 직접 계산하는 대신, 1차 미분 값인 그라디언트(Gradient)의 변화량을 통해 헤시안의 근사치를 반복적으로 업데이트하여 최적해를 찾는 수치 최적화 알고리즘입니다. 1. 개요 …