제2사분위수 (Second Quartile) 제2사분위수(Second Quartile, )는 데이터를 4등분 하는 세 개의 지점 중 두 번째 지점으로, 전체 데이터의 정확히 50%가 이 값보다 작거나 같고 나머지 50%가 이 값보다 크거나 같은 지점을 의미한다. 1. 정의 및 개념 분위수(Quantile)란 전체 데이터를 크기 순으로 나열했을 때 특정 비율…

산포도 (Dispersion) 1. 개요 산포도(Dispersion)란 통계학에서 데이터 값들이 중심 경향값(평균, 중앙값 등)으로부터 얼마나 멀리 떨어져 분포하고 있는지를 나타내는 척도이다. 데이터 분석 시 평균과 같은 중심 경향값은 집단의 전반적인 수준을 보여주지만, 데이터의 실제 분포 형태를 완전히 설명하지 못한다. 예를 들어, 두 집단의 평균이 동일…

IQR (사분위수 범위, Interquartile Range) 1. 개요 IQR(Interquartile Range, 사분위수 범위)은 데이터의 중앙값(Median)을 중심으로 상위 25%와 하위 25%를 제외한 중간 50% 데이터의 범위를 나타내는 통계적 산포도 지표이다. 이는 데이터의 전반적인 퍼짐 정도를 측정하며, 특히 극단적인 값(Outlier)의 …

Matplotlib Matplotlib은 파이썬 기반의 강력하고 유연한 2D 그래프 및 데이터 시각화 라이브러리로, 과학 계산, 데이터 분석, 머신러닝 등 다양한 분야에서 널리 사용되고 있습니다. NumPy와 잘 통합되며, MATLAB과 유사한 인터페이스를 제공하여 사용자가 익숙하게 접근할 수 있습니다. 복잡한 데이터를 직관적으로 표현할 수 있도록 다양한 …

표준편차 개요 표준편차(Standard Deviation)는 통계학에서 데이터의 분산도를 측정하는 대표적인 지표로, 평균값을 중심으로 데이터가 얼마나 퍼져 있는지를 수치화한 값이다. 이 개념은 과학적 연구, 금융 분석, 공학 등 다양한 분야에서 활용되며, 특히 회귀분석에서 모델의 예측 정확도를 평가하는 데 중요한 역할을 한다. 정의 및 개념 수학적 정의 표…

기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…

Z-score 표준화 Z-score 표준화(Z-score Standardization)란 데이터의 평균을 0, 표준편차를 1이 되도록 변환하는 데이터 전처리 과정입니다. 서로 다른 척도(Scale)를 가진 변수들을 동일한 기준으로 비교하거나, 특정 값이 전체 데이터 분포에서 어느 정도 위치에 있는지 파악하는 것을 목적으로 합니다. 수식 및 원리 Z-scor…

스터지스 규칙 (Sturges' rule) 스터지스 규칙은 연속형 데이터의 도수분포표를 작성하거나 히스토그램을 그릴 때, 데이터의 총 개수를 바탕으로 최적의 계급(Bin) 수를 결정하기 위해 사용되는 통계적 공식이다. 1. 개요 데이터 분석 과정에서 원시 데이터를 구간별로 나누어 빈도를 측정하는 도수분포표(Frequency Distribution Table…

Q2 (제2사분위수) Q2(제2사분위수, Second Quartile)는 정렬된 데이터 집합을 4등분했을 때 두 번째로 위치하는 지점으로, 전체 데이터의 정확히 50%가 이 값보다 작거나 같고 나머지 50%가 이 값보다 크거나 같은 지점을 의미한다. 1. 정의 및 개념 Q2는 통계학에서 데이터의 중심 경향성을 나타내는 대표적인 지표 중 하나이다. 가장 핵심…

전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …

이상치 탐지 개요 이상치지(Outlier Detection)는 데이터학 및 통계 분석에서 중요한 역할을 하는 기법으로, 데이터 세트 내 다른 관측치와显著하게 다른 값을 가지는 데이터 포인트를 식별하는 과정을 의미한다. 이러한 데이터 포인트는 일반적인 패턴이나 분포에서 벗어나며, 때로는 측정 오류, 데이터 입력 실수, 혹은 진정한 특이 현상일 수 있다. 이상…

데이터 변환 (Data Transformation) 1. 개요 데이터 변환(Data Transformation)이란 수집된 원시 데이터(Raw Data)를 분석, 모델링 또는 저장 목적에 적합한 형식이나 구조로 변경하는 과정을 의미합니다. 데이터 과학의 전처리(Preprocessing) 단계에서 핵심적인 역할을 하며, 데이터의 품질을 높이고 머신러닝 알고리…

Ordinal (순서형 데이터) 개요 Ordinal(순서형 데이터)은 데이터 과학과 통계학에서 사용되는 정성적 데이터(Categorical Data)의 한 유형입니다. 이는 범주 간의 명확한 순서나 등급(Ordering)이 존재하지만, 각 등급 간에 등간(Interval)이 일정하지 않거나 절대적인 수치적 차이가 정의되지 않는 데이터를 의미합니다. 일반적으…

순서형 범주 개요 순서형 범주(Ordinal Category)는 통계학에서 범주형 데이터의 한 유형으로, 범주들 간에 의미 있는 순서나 등급이 존재하지만, 범주 간의 정량적 차이(간격)는 정의되지 않는 데이터를 말한다. 즉, "크다", "작다", "높다", "낮다"와 같은 상대적 순서는 가능하지만, 그 차이의 크기를 수치적으로 측정할 수 없다는 점에서 명목…

Box plot 개요 박스 플롯(Box plot), 또는 상자 수염 그림(box-and-whisker plot)은 데이터의 분포를 시각적으로 표현하는 통계 그래프의 일종입니다. 이 그래프는 데이터의 중심 경향, 산포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있게 해주며, 특히 여러 그룹 간의 분포를 비교할 때 매우 유용합니다. 박스 플롯은 …

서열 개요 서열(序列表記, Ordinal Scale)은 통계학에서 자료의 측정 수준(measurement level) 중 하나로, 데이터가 자연스러운 순서를 가지지만 그 간격이 일정하지 않은 경우에 사용되는 척도를 의미한다. 서열 척도는 명목 척도(Nominal Scale)보다 높은 수준의 측정 척도이며, 간격 척도(Interval Scale)와 비율 척도…

데이터 필터링 요 데이터 필터링 Filtering)은 데이터 과학 및 분석 과정에서 핵심적인 단계 중 하나로, 원시 데이터(raw data)에서 분 목적에 부적합하거나 불필요한 데이터를 제거하거나 선택하여 유의미한 정보만 추출하는 작업. 이 과정은 데이터 품질을 향상고, 분석의확도와 효율성을 높이며, 모델 학습 시 노이즈(noise)를 줄이는 데 중요한 역…

상자 수염 그림 개요 상자 수염 그림(box-whisker plot, 줄여서박스플롯, box plot)은 통계학에서 데이터의포를 시각적으로 요약하기 널리 사용되는프 유형입니다. 그래프는 데이터 중심 경향,포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있도록 도와주며, 특히 여러 집단 간의 분포를 비교할 때 매우 유용합니다. 상자 수염 그림은 …

중앙값 중앙값(median)은 통계학에서 자료의 중심경향성을 나타내는 대표적인 척도 중 하나로, 데이터를 크기순으로 정렬했을 때 가운데 위치하는 값을 의미한다.균과 최빈값 함께 기술통계의 세 가지 주요 중심경향성 지로 꼽히며, 특히 데이터에 극단값(outlier)이 포함되어 있을 때 평균보다 더 안정적인 대표값으로 사용된다. 중앙값은 자료의 분포 형태에 영…

50번째분위수 개요 50번째 백위수(50 percentile)는 통학에서 자료 중앙값을 의미, 전체 데이터셋 정렬했을 때 상위 50% 하위 50% 나누는 기점입니다. 즉 데이터 중 절반 이 값보다 작 같고, 나머 절반은 이보다 크거나 같습니다 이는 데이터 분포의 중심 경향 파악하는 데 매우 중요한 지표로,균과 함께 자주 사용됩니다. 5번째 백분위는 중위수M…