# 이상치 탐지 ## 개요 **이상치지**(Outlier Detection)는 데이터학 및 통계 분석에서 중요한 역할을 하는 기법으로, 데이터 세트 내 다른 관측치와显著하게 다른 값을 가지는 데이터 포인트를 식별하는 과정을 의미한다. 이러한 데이터 포인트는 일반적인 패턴이나 분포에서 벗어나며, 때로는 측정 오류, 데이터 입력 실수, 혹은 진정한 특이 현...

# 표준편차 (Standard Deviation) **표준편차**(Standard Deviation)는 확률론 및 통계학에서 사용되는 산포도(Spread)의 척도 중 하나로, 데이터 집합이 평균(Average)으로부터 얼마나 떨어져 있는지를 나타내는 수치입니다. 일반적으로 그리스 문자 시그마($\sigma$)로 표기하며, 분산(Variance)의 제곱근 ...

# 기계학습 기반 전처리 (Machine Learning-Based Preprocessing) ## 개요 **기계학습 기반 전처리(Machine Learning-Based Preprocessing)**는 전통적인 통계적 방법이나 규칙 기반 접근법을 넘어서, 머신러닝 알고리즘 자체를 활용하여 데이터의 품질을 개선하고 모델의 학습 성능을 최적화하는 과정을 ...

# 덴드로그램 (Dendrogram) ## 개요 **덴드로그램**(Dendrogram)은 계층적 군집 분석(Hierarchical Clustering)의 결과를 시각적으로 표현한 트리 구조의 다이어그램입니다. '덴드로그램'이라는 단어는 그리스어 'dendron'(나무)과 'gramma'(그림)에서 유래했으며, 말 그대로 '나무 그림'을 의미합니다. 이 ...

# 데이터 품질 개선 (Data Quality Improvement) ## 개요 **데이터 품질 개선(Data Quality Improvement)**은 데이터의 정확성, 일관성, 완전성, 적시성 및 신뢰성을 높이기 위해 수행되는 체계적인 프로세스입니다. 현대 데이터 과학 및 비즈니스 인텔리전스(BI) 환경에서 '쓰레기 입력, 쓰레기 출력(Garbage...

# 세그먼테이션 (Segmentation) **세그먼테이션(Segmentation)**은 데이터 과학, 머신러닝, 그리고 이미지 처리 분야에서 광범위하게 사용되는 핵심 기법으로, 거대한 데이터 집합이나 복잡한 신호를 의미 있는 하위 그룹이나 영역으로 나누는 과정을 의미합니다. 본 문서에서는 데이터 과학의 맥락에서 주로 활용되는 **데이터 세그먼테이션**과...

# 군집화 (Clustering) ## 개요 군집화(Clustering)는 **비지도 학습(Unsupervised Learning)** 기법 중 하나로, 사전에 레이블이 없는 데이터 집합을 **유사한 특성을 가진 그룹(군집, cluster)** 으로 자동 분할하는 방법을 말한다. 데이터 포인트 간의 거리 혹은 유사도 측정을 기반으로, 같은 군집에 속한...

# Outlier Detection (이상치 탐지) ## 개요 Outlier Detection(이상치 탐지)은 데이터 집합에서 **다른 관측값들과 현저히 차이가 나는 데이터 포인트**를 식별하는 과정을 말한다. 이상치는 측정 오류, 데이터 입력 실수, 혹은 실제로 중요한 특이 현상을 나타낼 수 있기 때문에, 분석 단계에서 **제거, 보정, 혹은 별도 분석...

# Box plot ## 개요 **박스 플롯**(Box plot), 또는 **상자 수염 그림**(box-and-whisker plot)은 데이터의 분포를 시각적으로 표현하는 통계 그래프의 일종입니다. 이 그래프는 데이터의 중심 경향, 산포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있게 해주며, 특히 여러 그룹 간의 분포를 비교할 때 매우...

시계열 분석 ## 개요 **시계열 분석**(Time에 따라 순차적으로 수집된 데이터를 분석하여 패턴을 파악하고 미래의 값을 예측하는 통계적 방법론이다. 이 기법은 경제, 금융, 기상, 의료, 제조, IoT 등 다양한 분야에서 널리 활용되며, 데이터의 시간적 순서를 핵심 요소로 삼는다. 일반적인 통계 분석과 달리, 시계열 데이터는 시간 순서에 따라 데이터...

# 히트맵 ## 개요 **히트맵**(Heatmap)은 데이터 시각화 기법 중 하나로, 행렬 형태의 데이터를 색상의 밀도나 강도를 이용해 시각적으로 표현하는 그래프 유형입니다. 일반적으로 두 변수 간의 관계 또는 다차원 데이터의 분포를 한눈에 파악할 수 있도록 도와주며, 색상이 진할수록(또는 밝을수록) 특정 값이 높음을 나타냅니다. 히트맵은 데이터 과학,...

# 데이터 정규화 ## 개요 **데이터 정규화**(Data Normalization)는 데이터 과학 및 머신러닝 분야에서 자주 사용되는 **데이터 정제**(Data Cleaning) 기법 중 하나로, 다양한 특성(변수)의 스케일을 일관되게 조정하여 분석이나 모델 학습의 정확성과 효율성을 높이는 과정을 의미합니다. 특히, 여러 변수가 서로 다른 단위나 범...

# 데이터 품질 보증## 개요 데이터 품질 보증 Quality Assurance, DQA)은 정부기관이 수집, 처리, 저장 공개하는 통계 데이터의뢰성과 정확성을 확보하기 체계적인 절차와 활동을 의미합니다. 특히 통계질 관리의심 요소로서, 데이터의 오류를 사전 예방하고, 생성 과정 전반에 걸쳐 일관성과 정밀도를 유지하는 데 목적이 있습니다. 정부기관은 국민...

# 상자 수염 그림 ## 개요 **상자 수염 그림**(box-whisker plot, 줄여서박스플롯**, box plot)은 통계학에서 데이터의포를 시각적으로 요약하기 널리 사용되는프 유형입니다. 그래프는 데이터 중심 경향,포도, 왜도, 이상치(outlier) 등을 한눈에 파악할 수 있도록 도와주며, 특히 여러 집단 간의 분포를 비교할 때 매우 유용합니...

# 시간 기반 데이터 처리 시간반 데이터 처리(Time-based Data)는 시계열 데이터(Time Series)를 수집, 정제,석, 저장,각화하는 일련 과정을 의미합니다. 이는 데이터과학, 특히 **시계열 분석**( Series Analysis) 분에서 핵심적인 역할을 하며, 금융 기상 예보 IoT 센서 데이터, 웹 트래픽 모니터링 등 다양한 산업에서...

50번째분위수 ## 개요 50번째 백위수**(50 percentile)는 통학에서 자료 중앙값을 의미, 전체 데이터셋 정렬했을 때 **상위 50% 하위 50% 나누는 기점**입니다. 즉 데이터 중 절반 이 값보다 작 같고, 나머 절반은 이보다 크거나 같습니다 이는 데이터 분포의 중심 경향 파악하는 데 매우 중요한 지표로,균과 함께 자주 사용됩니다. 5...

# 통계품질체계 ## 개요 통품질관리체계(Statistical Management System, SQMS)는 국가계의 신뢰성과 품질을계적으로 보장 위해 정부기관이 구축·운영하는 종합적인 관리 프레임워입니다. 특히 한국의 경우, 통계청을 중심으로 한 정부기관 이 체계를 기반 국가통계의·관리·공표 전 과정에서 품질을 통제하고 있습니다. 이 체계는 국제적으로...

# 시계열 예측 ## 개요 **시계열 예측**(Time Series Forecasting)은 시간에 따라 순차적으로 수집된 데이터를 기반으로 미래의 값을 예하는 데이터 과학의 핵심법 중 하나입니다. 이법은 경제표, 주가,상 데이터, 판매량 웹 트래픽 등 시간의 흐름에 따라 변화하는 다양한 현상에 적용되며, 기업의 전략 수립, 자원 배분, 리스크 관리 등...

인간 피드백 ## 개요**인간 피드 수집**(Human Feedback Collection)은 인공지능(AI) 시스템, 특히 머신러닝 모델의 성능 향상과 행동 조정을 위해 인간의 판단, 평가, 선택 등을 수집하는 과정을 말합니다. 이는 주로 강화학습 기반 모델(예: LLM, 로봇 제어 등)의 학습 데이터를 보완하거나, 모델의 출력 결과에 대한 질적 평가를...

# 데이터 전처리 데이터 전처리(Data Preprocessing)는 데이터 과학 프로젝에서 분석 또는 기계 학습 모델을 구축하기 전에 원시 데이터를 정리하고 변환하는 과정을 의미합니다. 현실 세계의 데이터는 대부분 불완전하고, 일관되지 않으며, 중되거나 노이즈가 포함되어 있어 그대로 사용 경우 분석 결과의 신뢰도가 떨어질 수 있습니다. 따라서 데이터 전...