KDD 개요 KDD(Knowledge Discovery in Databases, 데이터베이스에서의 지식 발견)는 대량의 데이터에서 숨겨진 패턴, 규칙, 관계, 또는 유용한 정보를 추출하는 과정을 의미하는 데이터과학 분야의 핵심 개념입니다. KDD는 단순한 데이터 분석을 넘어서, 데이터 전처리, 데이터 마이닝, 패턴 평가, 지식 표현까지를 포함하는 포괄적인 …

데이터 전처리 데이터 전처리(Data Preprocessing)는 데이터 과학 프로젝에서 분석 또는 기계 학습 모델을 구축하기 전에 원시 데이터를 정리하고 변환하는 과정을 의미합니다. 현실 세계의 데이터는 대부분 불완전하고, 일관되지 않으며, 중되거나 노이즈가 포함되어 있어 그대로 사용 경우 분석 결과의 신뢰도가 떨어질 수 있습니다. 따라서 데이터 전처리는…

교차 검증 기반 인코딩 개요 교차 검증 기반 인코딩(Cross-Validation Based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환하는 과정에서 과적합(Overfitting)을 방지하기 위해 고안된 고급 인코딩 기법입니다. 특히 타깃 인코딩(Target Encoding)과 같은 기법에서 발생할 수 있는 …

K-Fold 타 인코딩 개요 K-Fold 타겟 인코딩(K-Fold Target Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환 고급 인코 기법 중 하나로, 특히 과적합(Overfitting) 방지하기 위해계된 방법입니다. 범주형 변수의 카테고리를 해당테고리에하는 타겟 변수의 평균값으로 대체하는 타겟 인딩(Targ…

Bayesian Target Encoding 개요 베이지안 타겟 인코딩(Bayesian Target Encoding)은 범주형 변수(categorical variable)를 수치형 변수로 변환하는 고급 인코딩 기법 중 하나로, 특히 머신러닝 모델의 성능 향상을 위해 사용된다. 이 기법은 단순한 타겟 인코딩(target encoding)의 주요 단점인 과적합…

Mean Encoding Encoding(평균코딩)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환하는 고 인코딩 기법 중로, 주로 지도 학습(Supervised Learning)에서 회귀 또는 분류 문제에 활용됩니다. 이 방법은 범주형 변수의 각 범주(Category)를 그 범주에 해당하는 타겟 변수(Target Variable…

스무딩 타깃 인코딩 스무딩 타깃코딩(Smoothing Target Encoding은 범주형 변수를 수치형 변수로 변환하는 데이터 정제 기법 중 하나로, 특히 머신러닝 모델의 성능 향상을 위해 널리 사용된다. 이 기법은 범주형 변수의 각 카테고리에 대해 해당 카테고리가 목표 변수(target variable)에 미치는 영향을 수치로 표현하면서, 소수의 샘플로…