최소제곱법 개요 최소제곱법(Least Squares Method)은 관측된 데이터와 모델의 예측값 사이의 차이, 즉 잔차(residual)의 제곱합을 최소화하여 모델의 파라미터를 추정하는 통계적 방법이다. 이 방법은 회귀 분석, 데이터 피팅, 예측 모델링 등 데이터과학의 핵심 분야에서 널리 사용되며, 특히 선형 회귀 모델의 추정에 가장 일반적으로 적용된다.…
검색 결과
"최소제곱법"에 대한 검색 결과 (총 38개)
평균 제곱 오차 (Mean Squared Error, MSE) 평균 제곱 오차(Mean Squared Error, 이하 MSE)는 예측값과 실제값 사이의 차이인 잔차를 제곱하여 산술 평균을 구한 통계적 지표로, 회귀 모델의 예측 성능을 평가하는 데 널리 사용되는 손실 함수(Loss Function)이다. 1. 정의 및 개념 MSE는 회귀 분석(Regress…
정규분포 (Normal Distribution) 정규분포는 평균 와 분산 에 의해 완전히 결정되는 연속 확률 분포의 일종으로, 평균을 중심으로 좌우 대칭인 종 모양(Bell-curve)의 형태를 띠는 확률 분포이다. 1. 개요 정규분포는 통계학 및 자연과학에서 가장 중요하게 다뤄지는 확률 분포이다. 수많은 독립적인 무작위 변수들이 합쳐졌을 때 나타나는 보편…
정규방정식 개요 정규방정식(Normal Equation)은 선형회귀(Linear Regression) 문제를 해결하기 위한 해석적(analytical) 방법 중 하나로, 최소제곱법(Least Squares Method)을 사용하여 선형 모델의 계수를 직접 계산하는 수식이다. 이 방정식은 손실 함수인 잔차 제곱합(Sum of Squared Residuals)…
촐레스키 분해 (Cholesky Decomposition) 1. 개요 촐레스키 분해란 실수 행렬의 경우 대칭 행렬(Symmetric matrix)이자 양의 정부호 행렬(Positive-definite matrix)인 행렬 를 하삼각행렬(Lower triangular matrix) 과 그 전치행렬 의 곱으로 분해하는 행렬 분해 기법이다. 수학적으로는 다음과 …
수학적 표현 수학적 표현(Mathematical Expression)은 수학적 개념, 관계, 연산 등을 기호와 언어를 통해 명확하고 간결하게 전달하는 수단이다. 수학은 추상적인 사고를 기반으로 하기 때문에, 이를 효과적으로 기술하고 전달하기 위해서는 체계화된 표현 방식이 필수적이다. 수학적 표현은 단순한 기호 나열을 넘어서 논리적 구조와 의미를 내포하며, …
가우스-마르코프 정리 (Gauss-Markov Theorem) 1. 개요 가우스-마르코프 정리는 선형 회귀 모델에서 특정 가정들이 충족될 때, 최소제곱법(Ordinary Least Squares, OLS)을 통해 얻은 추정량이 최선 선형 불편 추정량(Best Linear Unbiased Estimator, BLUE)이 된다는 통계학적 정리이다. 즉, 모든 …
L1 정규화 개요/소개 L1 정규화(L1 Regularization)는 머신러닝 모델의 과적합(overfitting)을 방지하기 위해 사용되는 중요한 기법 중 하나입니다. 이 방법은 모델의 파라미터(계수)에 절대값을 기반으로 페널티를 추가하여, 불필요한 특성(feature)을 제거하고 모델의 단순성을 유지합니다. L1 정규화는 특히 스파시(Sparse) 모…
회귀 모델 (Regression Model) 1. 개요 회귀 모델이란 하나 이상의 독립 변수와 하나의 종속 변수 간의 상관관계를 수학적 함수로 모델링하여, 새로운 입력 값에 대한 연속형 수치(Continuous Value)를 예측하는 머신러닝 알고리즘이다. 2. 회귀 모델의 기본 원리 회귀 분석의 핵심은 입력 데이터( )와 출력 데이터( ) 사이의 관계를 …
The Elements of Statistical Learning (ESL) 1. 개요 The Elements of Statistical Learning (ESL)은 통계적 학습 이론(Statistical Learning Theory)의 수학적 기초와 머신러닝(Machine Learning, 이하 ML) 알고리즘의 원리를 체계적으로 다룬 학술 서적으로, 데…
잠재 요인 (Latent Factor) 1. 개요 잠재 요인(Latent Factor)이란 데이터 세트에서 직접적으로 관찰되지는 않지만, 관찰 가능한 변수들 간의 관계를 통해 추론할 수 있는 숨겨진 특성을 의미한다. 이 개념은 통계학의 요인 분석(Factor Analysis)에서 유래하였으며, 추천 시스템 외에도 심리 측정, 유전자 분석 등 다양한 분야에서…
직교행렬 (Orthogonal Matrix) 직교행렬은 전치행렬이 곧 역행렬이 되는 정방행렬로, 벡터의 내적과 길이를 보존하는 선형 변환을 나타내는 행렬이다. 목차 1. 정의 및 기본 개념 2. 주요 성질 3. 기하학적 의미 4. 직교군 (Orthogonal Group) 5. 직교행렬의 생성과 분해 6. 주요 응용 분야 1. 정의 및 기본 개념 1.1 수학…
설계행렬 (Design Matrix) 1. 개요 설계행렬(Design Matrix)란 통계학 및 선형 모델에서 독립 변수(Independent Variables, Features)들을 행렬 형태로 구조화하여 모델의 파라미터를 효율적으로 추정하기 위해 사용하는 행렬이다. 2. 수학적 정의 및 구조 설계행렬 는 개의 관측치(Observation)와 개의 특성(…
조정 결정계수 (Adjusted R-squared) 조정 결정계수(Adjusted R-squared)는 회귀 분석에서 모델의 설명력을 나타내는 결정계수( )가 독립 변수의 개수가 증가함에 따라 무조건적으로 상승하는 단점을 보완하기 위해, 변수 개수에 따른 페널티를 부여하여 계산한 지표이다. 1. 개요 회귀 분석의 목적은 독립 변수( )들이 종속 변수( )의…
보간 가능성 (Interpolatability) 1. 개요 보간 가능성(Interpolatability)이란 주어진 일련의 데이터 점(Data points)들을 모두 정확하게 통과하는 연속 함수가 수학적으로 존재하며, 그 함수를 유일하게 결정할 수 있는 성질을 의미한다. 수치해석 및 함수 근사 이론에서 보간 가능성은 단순히 함수를 찾는 문제를 넘어, 선택한…
회귀 계수 회귀 계수(Regression Coefficient)는 통계학에서 회귀 분석(Regression Analysis)을 수행할 때 나타나는 핵심 개념으로, 독립 변수(설명 변수)가 종속 변수(반응 변수)에 미치는 영향의 크기와 방향을 수치적으로 나타냅니다. 회귀 분석은 변수 간의 관계를 모델링하고 예측하는 데 널리 사용되며, 회귀 계수는 이러한 모델…
제곱근 변환 (Square Root Transformation) 개요 제곱근 변환(Square Root Transformation)은 통계학 및 데이터 분석에서 비정규 분포를 가진 데이터를 정규 분포에 가깝게 만들기 위해 적용하는 비선형 변환 기법 중 하나입니다. 특히 계수 데이터(count data)나 비율 데이터와 같이 0 이상의 값을 가지는 데이터의 …
RSS (Residual Sum of Squares) RSS(Residual Sum of Squares, 잔차 제곱합)는 통계학, 특히 회귀분석(Regression Analysis)에서 통계 모델의 적합도(Goodness of Fit)를 평가하는 핵심 지표 중 하나입니다. RSS는 관측된 데이터 값과 모델이 예측한 값 사이의 차이인 잔차(Residual)들…
선형성 (Linearity) 개요 선형성(Linearity)은 통계학, 특히 회귀분석(Regression Analysis)의 맥락에서 가장 기본적이면서도 중요한 가정 중 하나입니다. 선형성이란 독립 변수(설명 변수)와 종속 변수(반응 변수) 사이의 관계가 직선 형태로 표현될 수 있음을 의미합니다. 즉, 독립 변수의 변화가 일정하게 증가하거나 감소할 때, 종…
ESPRIT (회전 불변성 기법을 이용한 신호 매개변수 추정) 개요 ESPRIT(Estimation of Signal Parameters via Rotational Invariance Techniques, 회전 불변성 기법을 이용한 신호 매개변수 추정)은 배열 안테나(array antenna)를 통해 수신된 다중 신호의 입사각도(DOA, Direction …