대칭 행렬 (Symmetric Matrix) 대칭 행렬이란 실수 성분을 가진 정사각 행렬 에 대하여, 행렬을 전치(Transpose)시킨 결과가 원래의 행렬과 동일한 행렬, 즉 를 만족하는 행렬을 말한다. 1. 정의 및 기본 개념 1.1 수학적 정의 행렬 가 정사각 행렬일 때, 의 행 열 원소를 라고 하자. 이때 모든 에 대하여 다음 조건을 만족하면 를 대…

촐레스키 분해 (Cholesky Decomposition) 1. 개요 촐레스키 분해란 실수 행렬의 경우 대칭 행렬(Symmetric matrix)이자 양의 정부호 행렬(Positive-definite matrix)인 행렬 를 하삼각행렬(Lower triangular matrix) 과 그 전치행렬 의 곱으로 분해하는 행렬 분해 기법이다. 수학적으로는 다음과 …

가우스-마르코프 정리 (Gauss-Markov Theorem) 1. 개요 가우스-마르코프 정리는 선형 회귀 모델에서 특정 가정들이 충족될 때, 최소제곱법(Ordinary Least Squares, OLS)을 통해 얻은 추정량이 최선 선형 불편 추정량(Best Linear Unbiased Estimator, BLUE)이 된다는 통계학적 정리이다. 즉, 모든 …

최적화 문제 (Optimization Problem) 1. 개요 최적화 문제란 주어진 제약 조건 하에서 특정 목적 함수(Objective Function)의 값을 최대화하거나 최소화하는 최적의 변수 값을 찾는 수학적 문제를 말한다. 최적화는 단순히 수학적 이론에 그치지 않고, 일상생활과 산업 전반에서 효율성을 극대화하기 위해 광범위하게 사용된다. 예를 들어…

헤시안 행렬 헤시안 행렬(Hessian Matrix)은 다변수 실수값 함수의 이계도함수(second-order partial derivatives)를 정사각형 행렬 형태로 배열한 것으로, 함수의 국소적 곡률 정보를 제공하는 중요한 수학적 도구입니다. 선형대수학과 최적화 이론, 머신러닝, 물리학 등 다양한 분야에서 널리 사용되며, 특히 함수의 극값(최대값, …

선형 연립방식 선형 연립정식(Linear System of Equations은 여러 개의 선형 방정식이 동시에 성립해야 하는 조건을 만하는 해를 찾는 수학적 문제입니다. 수치해 분야에서 선형 연립방정식은 과학, 공학, 경제학 등 다양한 분야의 모델링 문제에서 핵심적인 역할을 하며, 실제 문제 해결을 위한 수치적 알고리즘 개발의 기초가 됩니다. 이 문서에서는…