수치 계산 (Numerical Computation) 1. 개요 수치 계산이란 수학적 문제를 컴퓨터가 처리할 수 있는 유한한 횟수의 산술 연산(덧셈, 뺄셈, 곱셈, 나눗셈)으로 변환하여 근사해(Approximate Solution)를 구하는 계산 과학의 한 분야이다. 복잡한 미분 방정식이나 대규모 선형 연립 방정식과 같이 해석적 방법(Analytical M…

뉴턴-랩슨 방법 (Newton-Raphson Method) 1. 개요 뉴턴-랩슨 방법은 실함수 을 만족하는 해(root)를 수치적으로 찾기 위해 사용되는 대표적인 개방형 근사 알고리즘이다. 이 방법은 현재 추정치에서의 접선을 이용하여 함수값이 0이 되는 지점을 반복적으로 예측함으로써 실제 해에 빠르게 접근하는 것을 목적으로 하며, [[수치해석]] 및 [[최…

고정점 (Fixed Point) 개요 고정점(Fixed Point)이란 어떤 함수 에 대하여 를 만족하는 원소 를 의미한다. 즉, 함수에 의해 변환된 후에도 값이 변하지 않고 그대로 유지되는 점을 말한다. 기하학적 관점에서 고정점은 함수 의 그래프와 직선 가 만나는 교점의 좌표와 일치한다. (그림: 와 의 교점이 고정점이 되는 원리) 이는 입력값과 출력값이…

수렴 속도 수렴 속도(Convergence Rate) 수치최적화 알고리 최적해에 접근하는 속도를 수학적으로 정의한 개념이다. 최적화 문제를 해결하는 과에서 반복적인 계산을 통해 해를 점진적으로 개선하는데, 이 과정에서 해가 실제 최적해에 얼마나 빠르게 가까워지는지를 평가하는 척도가 바로 수렴 속도이다. 수렴 속도는 알고리즘의 효율성과 실용성을 판단하는 핵심…

준뉴턴 방법 (Quasi-Newton Methods) 준뉴턴 방법(Quasi-Newton Methods)은 목적 함수의 2차 미분 정보인 헤시안 행렬(Hessian Matrix)을 직접 계산하는 대신, 1차 미분 값인 그라디언트(Gradient)의 변화량을 통해 헤시안의 근사치를 반복적으로 업데이트하여 최적해를 찾는 수치 최적화 알고리즘입니다. 1. 개요 …

수치해법 (Numerical Methods) 1. 개요 수치해법이란 수학적 문제를 산술 연산의 유한한 반복을 통해 근사적인 수치 해(Numerical Solution)로 찾아내는 알고리즘과 기법들의 집합을 의미한다. 수학적 문제는 크게 두 가지 방식으로 해결할 수 있다. 첫째는 해석적 해(Analytical Solution)로, 수학적 공식과 정리를 이용하…

경사 하강법 개요 경사 하강법(Gradient Descent)은 머신러닝에서 모델의 파라미터를 최적화하기 위한 기본적인 최적화 알고리즘입니다. 이 방법은 비용 함수(cost function)의 기울기(gradient)를 계산하여, 매개변수를 반복적으로 조정해 최소값을 찾는 과정입니다. 경사 하강법은 신경망, 회귀 모델 등 다양한 학습 알고리즘에서 핵심적인 …

비선형 최적화 (Nonlinear Optimization) 개요 비선형 최적화(Nonlinear Optimization)는 목적 함수(objective function) 또는 제약 조건(constraints) 중 적어도 하나가 비선형(non-linear)인 수학적 문제를 해결하기 위한 알고리즘 및 방법론의 집합을 의미합니다. 선형 계획법(Linear Pro…