가우스-마르코프 정리 (Gauss-Markov Theorem) 1. 개요 가우스-마르코프 정리는 선형 회귀 모델에서 특정 가정들이 충족될 때, 최소제곱법(Ordinary Least Squares, OLS)을 통해 얻은 추정량이 최선 선형 불편 추정량(Best Linear Unbiased Estimator, BLUE)이 된다는 통계학적 정리이다. 즉, 모든 …
검색 결과
"관측치"에 대한 검색 결과 (총 38개)
머신러닝 기반 이상 탐지 (Machine Learning-based Anomaly Detection) 1. 개요 머신러닝 기반 이상 탐지란 데이터셋 내에서 대다수의 데이터와 현저히 다른 패턴을 보이는 희소한 관측치, 즉 '이상치(Outlier)' 또는 '이상 징후(Anomaly)'를 자동으로 식별하는 기술이다. 여기서 정상(Normal) 데이터는 시스템이 …
R hclust 1. 개요 hclust()는 R 언어의 기본 패키지(stats)에서 제공하는 함수로, 계층적 군집 분석(Hierarchical Clustering)을 수행하는 도구입니다. 계층적 군집 분석이란 데이터 포인트 간의 유사성을 측정하여 유사한 데이터끼리 순차적으로 묶어 나가는 분석 방법으로, 최종적으로 모든 데이터가 하나의 군집으로 합쳐질 때까지…
가중치 평균 개요 가중치 평균(Weighted Average)은 단순 평균(Arithmetic Mean)과 달리 각 신뢰도를 반영하기 위해 가중치(Weight)를 부여하여 계산하는 평균 방식입니다. 특히 데이터과학과 모델 평가 분야에서 다양한 지표를 종합하거나, 클래스 불균형이 있는 분류 문제에서 성능을 평가할 때 널리 사용됩니다. 단순 평균은 모든 데이터…
설계행렬 (Design Matrix) 1. 개요 설계행렬(Design Matrix)란 통계학 및 선형 모델에서 독립 변수(Independent Variables, Features)들을 행렬 형태로 구조화하여 모델의 파라미터를 효율적으로 추정하기 위해 사용하는 행렬이다. 2. 수학적 정의 및 구조 설계행렬 는 개의 관측치(Observation)와 개의 특성(…
조정 결정계수 (Adjusted R-squared) 조정 결정계수(Adjusted R-squared)는 회귀 분석에서 모델의 설명력을 나타내는 결정계수( )가 독립 변수의 개수가 증가함에 따라 무조건적으로 상승하는 단점을 보완하기 위해, 변수 개수에 따른 페널티를 부여하여 계산한 지표이다. 1. 개요 회귀 분석의 목적은 독립 변수( )들이 종속 변수( )의…
비정규 분포 기반 표준오차 보정 (Non-normality Based Standard Error Correction) 1. 개요 비정규 분포 기반 표준오차 보정은 표본 크기가 작거나 데이터의 분포가 정규분포를 따르지 않는 비정규성(Non-normality)을 띨 때, 가설검정의 신뢰도를 높이기 위해 표준 오차(Standard Error)를 조정하는 통계적 …
Q2 (제2사분위수) Q2(제2사분위수, Second Quartile)는 정렬된 데이터 집합을 4등분했을 때 두 번째로 위치하는 지점으로, 전체 데이터의 정확히 50%가 이 값보다 작거나 같고 나머지 50%가 이 값보다 크거나 같은 지점을 의미한다. 1. 정의 및 개념 Q2는 통계학에서 데이터의 중심 경향성을 나타내는 대표적인 지표 중 하나이다. 가장 핵심…
이상치 탐지 개요 이상치지(Outlier Detection)는 데이터학 및 통계 분석에서 중요한 역할을 하는 기법으로, 데이터 세트 내 다른 관측치와显著하게 다른 값을 가지는 데이터 포인트를 식별하는 과정을 의미한다. 이러한 데이터 포인트는 일반적인 패턴이나 분포에서 벗어나며, 때로는 측정 오류, 데이터 입력 실수, 혹은 진정한 특이 현상일 수 있다. 이상…
t-검정 (t-test) t-검정은 모분산(모집단의 분산)을 알 수 없는 상황에서 표본 데이터를 바탕으로 모평균을 추정하거나 집단 간 평균 차이의 통계적 유의성을 검증하기 위해 널리 사용되는 모수적 가설검정 방법입니다. t-검정의 개요와 기본 개념 t-검정은 1908년 영국 맥주 양조장 글라우저(Guinness)의 화학자 윌리엄 시즐리 겐트(William …
기대 빈도 (Expected Frequency) 기대 빈도(Expected Frequency)는 확률론과 통계학에서 특정 사건이나 결과가 이론적으로 얼마나 자주 발생할 것으로 예측되는 횟수를 의미합니다. 이는 관측된 데이터(Observed Frequency)와 비교하여 통계적 유의성을 검정하거나, 확률 분포의 특성을 이해하는 데 핵심적인 개념으로 사용됩니다…
ANOVA (분산 분석) ANOVA(Analysis of Variance, 분산 분석)는 두 개 이상의 집단 간 평균 차이가 통계적으로 유의미한지 여부를 검정하는 통계적 방법론입니다. 단일 변수의 평균 비교에 사용되는 t-검정과 달리, ANOVA는 세 개 이상의 집단을 동시에 비교할 때 발생할 수 있는 제1종 오류(귀무가설이 참인데 기각하는 오류)의 확률을…
기계학습 기반 전처리 (Machine Learning-Based Preprocessing) 개요 기계학습 기반 전처리(Machine Learning-Based Preprocessing)는 전통적인 통계적 방법이나 규칙 기반 접근법을 넘어서, 머신러닝 알고리즘 자체를 활용하여 데이터의 품질을 개선하고 모델의 학습 성능을 최적화하는 과정을 의미합니다. 일반적인…
덴드로그램 (Dendrogram) 개요 덴드로그램(Dendrogram)은 계층적 군집 분석(Hierarchical Clustering)의 결과를 시각적으로 표현한 트리 구조의 다이어그램입니다. '덴드로그램'이라는 단어는 그리스어 'dendron'(나무)과 'gramma'(그림)에서 유래했으며, 말 그대로 '나무 그림'을 의미합니다. 이 시각화 도구는 데이터…
RSS (Residual Sum of Squares) RSS(Residual Sum of Squares, 잔차 제곱합)는 통계학, 특히 회귀분석(Regression Analysis)에서 통계 모델의 적합도(Goodness of Fit)를 평가하는 핵심 지표 중 하나입니다. RSS는 관측된 데이터 값과 모델이 예측한 값 사이의 차이인 잔차(Residual)들…
산점도 (Scatter Plot) 산점도(Scatter Plot)는 데이터 과학 및 통계학에서 두 변수 간의 관계를 시각화하기 위해 가장 널리 사용되는 차트 유형 중 하나입니다. 이 차트는 수평축(X축)과 수직축(Y축)으로 구성된 직교 좌표계에 데이터 포인트를 산점(산포)시켜 표시함으로써, 변수들 사이의 상관관계, 분포 패턴, 이상치(Outlier) 등을 …
Series 개요 데이터 과학 및 분석 분야에서 Series는 주로 파이썬의 pandas 라이브러리에서 제공하는 1 차원 라벨링된 배열을 의미합니다. R 언어의 데이터 구조에서 영감을 받아 설계되었으며, 시계열 데이터, 카테고리 데이터, 수치형 데이터 등 다양한 유형의 데이터를 효율적으로 저장하고 처리하는 데 핵심적으로 사용됩니다. 데이터 과학 워크플로우에…
표준오차 개요 표준오차(Standard Error, SE)는 통계학에서 표본 통계량(예: 표본평균)이 모집단의 진짜 모수(예: 모평균)를 얼마나 정확하게 추정하는지를 나타내는 지표입니다. 즉, 표준오차는 표본 통계량의 변동성을 측정하며, 반복적으로 표본을 추출했을 때 그 통계량이 어느 정도의 분포를 갖는지를 설명합니다. 표준오차는 신뢰구간 추정, 가설 검정…
순서형 범주 개요 순서형 범주(Ordinal Category)는 통계학에서 범주형 데이터의 한 유형으로, 범주들 간에 의미 있는 순서나 등급이 존재하지만, 범주 간의 정량적 차이(간격)는 정의되지 않는 데이터를 말한다. 즉, "크다", "작다", "높다", "낮다"와 같은 상대적 순서는 가능하지만, 그 차이의 크기를 수치적으로 측정할 수 없다는 점에서 명목…
시계열 분석 개요 시계열 분석(Time에 따라 순차적으로 수집된 데이터를 분석하여 패턴을 파악하고 미래의 값을 예측하는 통계적 방법론이다. 이 기법은 경제, 금융, 기상, 의료, 제조, IoT 등 다양한 분야에서 널리 활용되며, 데이터의 시간적 순서를 핵심 요소로 삼는다. 일반적인 통계 분석과 달리, 시계열 데이터는 시간 순서에 따라 데이터 포인트 간의 상…