데이터 누수 (Data Leakage) 데이터 누수(Data Leakage)는 머신러닝 및 데이터 과학 모델의 학습 과정에서, 테스트 데이터(평가 데이터)에 포함되어야 할 정보가 우연히 또는 실수로 학습 데이터에 유입되어 모델이 실제 환경에서보다 과도하게 높은 성능을 보이는 현상을 의미합니다. 이는 모델의 일반화 능력(Generalization)을 과대평가…

전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …

모델 다양성 (Model Diversity) 1. 개요 모델 다양성(Model Diversity)이란 [[앙상블 학습]](Ensemble Learning) 시스템 내에서 결합되는 개별 학습 모델들이 서로 다른 예측 패턴을 가지거나, 서로 다른 종류의 오류를 범하는 정도를 의미한다. 앙상블 학습은 여러 개의 [[약한 학습기]](Weak Learner)를 결합…

언더샘플링 (Undersampling) 1. 개요 언더샘플링(Undersampling)이란 데이터 불균형(Data Imbalance) 문제가 존재하는 데이터셋에서 다수 클래스(Majority Class)의 샘플 수를 줄여 소수 클래스(Minority Class)와의 비율을 맞추는 데이터 전처리 기법이다. 데이터 불균형이란 특정 클래스의의 데이터 수가 다른 …

기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…

목표 기반 인코딩 목표 기반 인코딩(Target-based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환 데이터 인코딩법 중 하나로, 특히 지도 학습(Supervised Learning)에서 목표 변수(Target Variable)와의 관계를 활용하여 인코딩을하는 방법입니다. 이 방은 단순한 레이블 인코딩(La…

테스트 데이터 (Test Data) 개요 테스트 데이터(Test Data)는 소프트웨어 개발, 시스템 테스트, 데이터 분석 모델 검증 등 다양한 기술적 과정에서 사용 목적으로 생성되거나 수집된 가상의 또는 실제 데이터의 집합을 의미합니다. 소프트웨어 공학이나 데이터 과학 분야에서 '테스트 데이터'는 시스템의 기능적 정확성, 성능, 보안성 및 데이터 처리 로…

기계학습 기반 전처리 (Machine Learning-Based Preprocessing) 개요 기계학습 기반 전처리(Machine Learning-Based Preprocessing)는 전통적인 통계적 방법이나 규칙 기반 접근법을 넘어서, 머신러닝 알고리즘 자체를 활용하여 데이터의 품질을 개선하고 모델의 학습 성능을 최적화하는 과정을 의미합니다. 일반적인…

특징 강화 (Feature Enhancement) 개요 특징 강화(Feature Enhancement)는 데이터 과학 및 머신러닝 분야에서 원시 데이터(Raw Data)의 품질을 개선하거나, 기존 특징(Feature)의 표현력을 높여 모델의 예측 성능을 극대화하기 위한 일련의 전처리 및 변환 기법을 포괄하는 개념입니다. 단순히 결측치를 채우거나 이상치를 제…

교차 검증 기반 인코딩 개요 교차 검증 기반 인코딩(Cross-Validation Based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환하는 과정에서 과적합(Overfitting)을 방지하기 위해 고안된 고급 인코딩 기법입니다. 특히 타깃 인코딩(Target Encoding)과 같은 기법에서 발생할 수 있는 …

교차 검증 개요 교차 검(Cross-Validation, CV) 기계학습 통계 모델의 성능을가하고 과적(overfitting) 방지하기 위해 사용되는 기법입니다. 모델이 훈련 데이터만 잘 맞추어져 새로운 데이터에 대해서는 성능이 저하되는 문제를 사전에 검출하기 위해, 데이터를 여러 번 나누어 학습과 검증을 반복하는 방식으로 작동합니다. 특히 데이터 양이 제…

평균 타깃 값 개요 평균 타깃 값(Mean Value)은 데이터과학, 특히 머신러닝과 통계 분석에서 중요한 개념 중 하나로, 특정 그룹이나 범주 내에서 타깃 변수(Target Variable)의 평균을 계산한 값을 의미합니다. 이 값은 주로 범주형 변수의 인코딩, 피처 엔지니어링, 모델 성능 개선 등을 위해 활용되며, 특히 타깃 인코딩(Target Enco…

Bayesian Target Encoding 개요 베이지안 타겟 인코딩(Bayesian Target Encoding)은 범주형 변수(categorical variable)를 수치형 변수로 변환하는 고급 인코딩 기법 중 하나로, 특히 머신러닝 모델의 성능 향상을 위해 사용된다. 이 기법은 단순한 타겟 인코딩(target encoding)의 주요 단점인 과적합…

명목형 범 개요명목형 범주(inal Category)는 통계학 및 데이터과학에서 범주형 자료(Categorical Data)의 한 유형으로, 서로 구분 가능한 범주를지만 서로 간 순서나 크기 관계가 없는 데이터를 의미합니다. 명목형주는 단순히 이름(Name) 또는 레이블)에 기반한 분류 제공하며, 수치적인 해이나 대소 비교가가능합니다. 데이터 전처리 과정에…

테스트 데이터 개요 스트 데이터(Test Data는 데이터 과학 및 기계 학습 프로젝트에서 모델의능을 평가하기 위해 사용되는 데이터의 하 집합입니다.적으로 전체 데이터셋은 훈련(Training), 검증(Validation), 테스트(Test) 데이터로 분할되며, 이 중 테 데이터는 모델발 과정에서 최종 평가 단에서 사용됩니다 테스트 데이터는 모이 훈련 과에…

Mean Encoding Encoding(평균코딩)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환하는 고 인코딩 기법 중로, 주로 지도 학습(Supervised Learning)에서 회귀 또는 분류 문제에 활용됩니다. 이 방법은 범주형 변수의 각 범주(Category)를 그 범주에 해당하는 타겟 변수(Target Variable…

타깃 인코딩 개요 타깃 인코(Target Encoding)은 범형 변수(Categorical Variable)를 수치형 변수로 변환하는 고급 인코딩 기법 중 하나로, 주어진 범주(category)의 값이 종속 변수(target variable)에 미치는 영향을 기반으로 인코딩을 수행합니다. 이 방법은 특히 범주가 많고 희소한(high-cardinality …

하이브리드 인딩 개 하이브드 인코딩Hybrid Encoding)은 과학 및 머신러닝 분야에서 범주형 변수(Categorical Variable)를 수치형 데이터로 변환하는 과정에서, 여러 인코딩 기법을 조합하여 사용하는 고급 전략입니다. 단일 인코딩 방식이 특정 상황에서 한계를 가질 수 있기 때문에, 데이터의 특성과 모델의 요구사항에 따라 두 가지 이상의 …

Target Encoding Target Encoding(타겟 인코딩)은 범주형 변수(categorical variable)를 수치형 변수로환하는 고급 인코딩 기법 하나로, 머신러닝 모델의 성능 향상을 위해 널리 사용된다. 이 방법은 각 범주(category)를 그 범주에 속한 관측값들의 목표 변수(target variable)의 평균값으로 대체하는 방식을…

Label Encoding 개요 Label Encoding라벨 인코딩)은주형 데이터(c data)를 머신러닝 모델이 처리할 수 있도록 정수형 숫자로 변환하는 기법 중 하나입니다. 머러닝 알고리즘 일반적으로 텍스트 형태의 범주형 변수를 직접 처리할 수 없으므로 이러한 변수를 수치형으로 변환하는처리 과정이 필수적입니다. Label Encoding은 각 범주(c…