# BFGS **BFGS**(Broyden–Fletcher–Goldfarb–Shanno 알고리즘은 비선형 최적화 문제에서 널리 사용되는 준뉴턴(Quasi-Newton) 방법 중 하나로, 목적 함수의 최소값을 반복적으로 탐색하는 데 효과적입니다. 특히, 목적 함수의 2차 미분(헤시안 행렬)을 직접 계산하지 않고도 뉴턴 방법과 유사한 수렴 성능을 달성할 수 ...
검색 결과
"BFGS"에 대한 검색 결과 (총 5개)
# 뉴턴 방법 ##요 **뉴턴 방법**(Newton Method), 또는 **뉴턴-랍슨 방법**(Newton-Raphson Method)은 비선형 방정식의 근을 수치적으로 근사하는 데 사용되는 강력한 반복 최적화 알고리즘. 이 방법은 미분 가능한 함수에 대해 초기 추정값에서 출발하여 접선을 이용해 점차 정확한 해에 수렴하도록 설계되어 있으며, 특히 수치...
# 헤시안 행렬 헤시안 행렬(Hessian Matrix)은 다변수 실수값 함수의 **이계도함수**(second-order partial derivatives)를 정사각형 행렬 형태로 배열한 것으로, 함수의 국소적 곡률 정보를 제공하는 중요한 수학적 도구입니다. 선형대수학과 최적화 이론, 머신러닝, 물리학 등 다양한 분야에서 널리 사용되며, 특히 함수의 극...
# CRF: 조건부 확률 필드 (Conditional Random Field) ## 개 조건부 확률 필드(**Conditional Random Field**, 이하 **CRF**)는 주어진 입력 시퀀스에 기반하여 출력 레이블 시퀀스를 예측하는 **확률적 그래프 모델**의 일종입니다. 자연어처리(NLP) 분야에서 특히 토큰 수준의 레이블링 작업, 예를 들...
# 다중 로지스틱 회귀 ## 개요 다중 로지스틱 회귀(Multinomial Logistic Regression)는 **이산형 종속 변수**를 예측하기 위한 통계적 모델로, 이진 로지스틱 회귀(Binary Logistic Regression)의 확장 형태이다. 이 방법은 두 가지 이상의 클래스(범주)를 가진 문제에 적용되며, 각 클래스에 대한 확률을 동시에...