IQR (사분위수 범위, Interquartile Range) 1. 개요 IQR(Interquartile Range, 사분위수 범위)은 데이터의 중앙값(Median)을 중심으로 상위 25%와 하위 25%를 제외한 중간 50% 데이터의 범위를 나타내는 통계적 산포도 지표이다. 이는 데이터의 전반적인 퍼짐 정도를 측정하며, 특히 극단적인 값(Outlier)의 …
검색 결과
"IQR"에 대한 검색 결과 (총 32개)
전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …
산포도 (Dispersion) 1. 개요 산포도(Dispersion)란 통계학에서 데이터 값들이 중심 경향값(평균, 중앙값 등)으로부터 얼마나 멀리 떨어져 분포하고 있는지를 나타내는 척도이다. 데이터 분석 시 평균과 같은 중심 경향값은 집단의 전반적인 수준을 보여주지만, 데이터의 실제 분포 형태를 완전히 설명하지 못한다. 예를 들어, 두 집단의 평균이 동일…
표준편차 개요 표준편차(Standard Deviation)는 통계학에서 데이터의 분산도를 측정하는 대표적인 지표로, 평균값을 중심으로 데이터가 얼마나 퍼져 있는지를 수치화한 값이다. 이 개념은 과학적 연구, 금융 분석, 공학 등 다양한 분야에서 활용되며, 특히 회귀분석에서 모델의 예측 정확도를 평가하는 데 중요한 역할을 한다. 정의 및 개념 수학적 정의 표…
기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…
데이터 변환 데이터 변환(Data Transformation)은 데이터 과학 및 정보 처리 과정에서 핵심적인 단계 중 하나로, 원시 데이터를 분석이나 모델링에 적합한 형태로 재구조화하거나 변형하는 작업을 의미합니다. 이 과정은 데이터 정제, 통합, 정규화, 스케일링 등 다양한 기법을 포함하며, 데이터 품질을 높이고 분석 결과의 신뢰성을 보장하는 데 중요한 …
Z-score 표준화 Z-score 표준화(Z-score Standardization)란 데이터의 평균을 0, 표준편차를 1이 되도록 변환하는 데이터 전처리 과정입니다. 서로 다른 척도(Scale)를 가진 변수들을 동일한 기준으로 비교하거나, 특정 값이 전체 데이터 분포에서 어느 정도 위치에 있는지 파악하는 것을 목적으로 합니다. 수식 및 원리 Z-scor…
스터지스 규칙 (Sturges' rule) 스터지스 규칙은 연속형 데이터의 도수분포표를 작성하거나 히스토그램을 그릴 때, 데이터의 총 개수를 바탕으로 최적의 계급(Bin) 수를 결정하기 위해 사용되는 통계적 공식이다. 1. 개요 데이터 분석 과정에서 원시 데이터를 구간별로 나누어 빈도를 측정하는 도수분포표(Frequency Distribution Table…
Q2 (제2사분위수) Q2(제2사분위수, Second Quartile)는 정렬된 데이터 집합을 4등분했을 때 두 번째로 위치하는 지점으로, 전체 데이터의 정확히 50%가 이 값보다 작거나 같고 나머지 50%가 이 값보다 크거나 같은 지점을 의미한다. 1. 정의 및 개념 Q2는 통계학에서 데이터의 중심 경향성을 나타내는 대표적인 지표 중 하나이다. 가장 핵심…
이상치 탐지 개요 이상치지(Outlier Detection)는 데이터학 및 통계 분석에서 중요한 역할을 하는 기법으로, 데이터 세트 내 다른 관측치와显著하게 다른 값을 가지는 데이터 포인트를 식별하는 과정을 의미한다. 이러한 데이터 포인트는 일반적인 패턴이나 분포에서 벗어나며, 때로는 측정 오류, 데이터 입력 실수, 혹은 진정한 특이 현상일 수 있다. 이상…
데이터 품질 개선 (Data Quality Improvement) 개요 데이터 품질 개선(Data Quality Improvement)은 데이터의 정확성, 일관성, 완전성, 적시성 및 신뢰성을 높이기 위해 수행되는 체계적인 프로세스입니다. 현대 데이터 과학 및 비즈니스 인텔리전스(BI) 환경에서 '쓰레기 입력, 쓰레기 출력(Garbage In, Garbag…
Outlier Detection (이상치 탐지) 개요 Outlier Detection(이상치 탐지)은 데이터 집합에서 다른 관측값들과 현저히 차이가 나는 데이터 포인트를 식별하는 과정을 말한다. 이상치는 측정 오류, 데이터 입력 실수, 혹은 실제로 중요한 특이 현상을 나타낼 수 있기 때문에, 분석 단계에서 제거, 보정, 혹은 별도 분석 대상으로 다루어야 한…
Box plot 개요 박스 플롯(Box plot), 또는 상자 수염 그림(box-and-whisker plot)은 데이터의 분포를 시각적으로 표현하는 통계 그래프의 일종입니다. 이 그래프는 데이터의 중심 경향, 산포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있게 해주며, 특히 여러 그룹 간의 분포를 비교할 때 매우 유용합니다. 박스 플롯은 …
시계열 분석 개요 시계열 분석(Time에 따라 순차적으로 수집된 데이터를 분석하여 패턴을 파악하고 미래의 값을 예측하는 통계적 방법론이다. 이 기법은 경제, 금융, 기상, 의료, 제조, IoT 등 다양한 분야에서 널리 활용되며, 데이터의 시간적 순서를 핵심 요소로 삼는다. 일반적인 통계 분석과 달리, 시계열 데이터는 시간 순서에 따라 데이터 포인트 간의 상…
데이터 필터링 요 데이터 필터링 Filtering)은 데이터 과학 및 분석 과정에서 핵심적인 단계 중 하나로, 원시 데이터(raw data)에서 분 목적에 부적합하거나 불필요한 데이터를 제거하거나 선택하여 유의미한 정보만 추출하는 작업. 이 과정은 데이터 품질을 향상고, 분석의확도와 효율성을 높이며, 모델 학습 시 노이즈(noise)를 줄이는 데 중요한 역…
상자 수염 그림 개요 상자 수염 그림(box-whisker plot, 줄여서박스플롯, box plot)은 통계학에서 데이터의포를 시각적으로 요약하기 널리 사용되는프 유형입니다. 그래프는 데이터 중심 경향,포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있도록 도와주며, 특히 여러 집단 간의 분포를 비교할 때 매우 유용합니다. 상자 수염 그림은 …
시간 기반 데이터 처리 시간반 데이터 처리(Time-based Data)는 시계열 데이터(Time Series)를 수집, 정제,석, 저장,각화하는 일련 과정을 의미합니다. 이는 데이터과학, 특히 시계열 분석( Series Analysis) 분에서 핵심적인 역할을 하며, 금융 기상 예보 IoT 센서 데이터, 웹 트래픽 모니터링 등 다양한 산업에서 활용됩니다.…
50번째분위수 개요 50번째 백위수(50 percentile)는 통학에서 자료 중앙값을 의미, 전체 데이터셋 정렬했을 때 상위 50% 하위 50% 나누는 기점입니다. 즉 데이터 중 절반 이 값보다 작 같고, 나머 절반은 이보다 크거나 같습니다 이는 데이터 분포의 중심 경향 파악하는 데 매우 중요한 지표로,균과 함께 자주 사용됩니다. 5번째 백분위는 중위수M…
히스토그램 개요 히스토그(Histogram)은 통계학 연속형 또는산형 수치 데이터 분포를 시각적으로 표현하는 대적인 그래프 도구이다. 데이터를 일정한 구간(빈, bin)으로 나누고, 각 구간 속하는 데이터의 빈도수(frequency) 또는 상대 빈도수(relative frequency)를 막대의 높이로 나타낸다. 히스토그램은 데이터의 중심 경향, 산포도, …
데이터 전처리 데이터 전처리(Data Preprocessing)는 데이터 과학 프로젝에서 분석 또는 기계 학습 모델을 구축하기 전에 원시 데이터를 정리하고 변환하는 과정을 의미합니다. 현실 세계의 데이터는 대부분 불완전하고, 일관되지 않으며, 중되거나 노이즈가 포함되어 있어 그대로 사용 경우 분석 결과의 신뢰도가 떨어질 수 있습니다. 따라서 데이터 전처리는…