전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …

데이터 누수 (Data Leakage) 데이터 누수(Data Leakage)는 머신러닝 및 데이터 과학 모델의 학습 과정에서, 테스트 데이터(평가 데이터)에 포함되어야 할 정보가 우연히 또는 실수로 학습 데이터에 유입되어 모델이 실제 환경에서보다 과도하게 높은 성능을 보이는 현상을 의미합니다. 이는 모델의 일반화 능력(Generalization)을 과대평가…

기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…

목표 기반 인코딩 목표 기반 인코딩(Target-based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환 데이터 인코딩법 중 하나로, 특히 지도 학습(Supervised Learning)에서 목표 변수(Target Variable)와의 관계를 활용하여 인코딩을하는 방법입니다. 이 방은 단순한 레이블 인코딩(La…

테스트 데이터 (Test Data) 개요 테스트 데이터(Test Data)는 소프트웨어 개발, 시스템 테스트, 데이터 분석 모델 검증 등 다양한 기술적 과정에서 사용 목적으로 생성되거나 수집된 가상의 또는 실제 데이터의 집합을 의미합니다. 소프트웨어 공학이나 데이터 과학 분야에서 '테스트 데이터'는 시스템의 기능적 정확성, 성능, 보안성 및 데이터 처리 로…

기계학습 기반 전처리 (Machine Learning-Based Preprocessing) 개요 기계학습 기반 전처리(Machine Learning-Based Preprocessing)는 전통적인 통계적 방법이나 규칙 기반 접근법을 넘어서, 머신러닝 알고리즘 자체를 활용하여 데이터의 품질을 개선하고 모델의 학습 성능을 최적화하는 과정을 의미합니다. 일반적인…

교차 검증 기반 인코딩 개요 교차 검증 기반 인코딩(Cross-Validation Based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환하는 과정에서 과적합(Overfitting)을 방지하기 위해 고안된 고급 인코딩 기법입니다. 특히 타깃 인코딩(Target Encoding)과 같은 기법에서 발생할 수 있는 …

평균 타깃 값 개요 평균 타깃 값(Mean Value)은 데이터과학, 특히 머신러닝과 통계 분석에서 중요한 개념 중 하나로, 특정 그룹이나 범주 내에서 타깃 변수(Target Variable)의 평균을 계산한 값을 의미합니다. 이 값은 주로 범주형 변수의 인코딩, 피처 엔지니어링, 모델 성능 개선 등을 위해 활용되며, 특히 타깃 인코딩(Target Enco…

Target Encoding Target Encoding(타겟 인코딩)은 범주형 변수(categorical variable)를 수치형 변수로환하는 고급 인코딩 기법 하나로, 머신러닝 모델의 성능 향상을 위해 널리 사용된다. 이 방법은 각 범주(category)를 그 범주에 속한 관측값들의 목표 변수(target variable)의 평균값으로 대체하는 방식을…

타겟 인코딩 개요 타겟 인코딩(Target)은 머신러닝과 과학 분야에서 범주형 변수(C Variable)를 수형 변수로 변환하는 고급 인딩 기법 중입니다. 이 방법은주형 변수의 범주(Category)를 해당 범에 속하는 타 변수(Target Variable)의계적 요약(예: 평균, 중값, 분산)으로 대체하는식입니다. 특히귀 또는 분류에서 범주형 피를 모델에…