데이터 리크 (Data Leakage) 개요 데이터 리크(Data Leakage)란 머신러닝 모델을 학습시킬 때, 모델이 예측해야 할 타겟(Target) 정보나 테스트 데이터셋의 정보가 학습 데이터셋에 의도치 않게 포함되어 모델의 성능이 비정상적으로 높게 측정되는 현상을 말한다. 데이터 리크가 발생하면 학습 단계에서는 매우 높은 정확도와 낮은 오차를 보이지…
검색 결과
검색어를 입력하세요.
K-means -means는 대적인 비지도 학습(Unsupervised Learning) 알고리즘 중 하나로, 주어진 데이터를 K개의 클러스터(군집)로 나누는 데 사용됩니다. 클러스터링은 데이터의 유사성을 기반으로 그룹을 형성하여 데이터의 구조를 이해하고 패턴을 발견하는 데 중요한 역할을 합니다. 특히 K-means는 간단하면서도 효율적인 알고리즘으로, 다…
클러스터링 개요 클러스터링(Clustering)은 데이터 포인트를 유사성에 따라 그룹화하는 비지도 학습(unsupervised learning) 기법으로, 데이터의 내재적 구조를 탐색하고 패턴을 발견하는 데 활용됩니다. 이는 분석가들이 대규모 데이터 세트에서 의미 있는 정보를 추출할 수 있도록 도와주며, 마케팅, 생물정보학, 이미지 처리 등 다양한 분야에서…
회귀 모델 (Regression Model) 1. 개요 회귀 모델이란 하나 이상의 독립 변수와 하나의 종속 변수 간의 상관관계를 수학적 함수로 모델링하여, 새로운 입력 값에 대한 연속형 수치(Continuous Value)를 예측하는 머신러닝 알고리즘이다. 2. 회귀 모델의 기본 원리 회귀 분석의 핵심은 입력 데이터( )와 출력 데이터( ) 사이의 관계를 …
데이터 누수 (Data Leakage) 데이터 누수(Data Leakage)는 머신러닝 및 데이터 과학 모델의 학습 과정에서, 테스트 데이터(평가 데이터)에 포함되어야 할 정보가 우연히 또는 실수로 학습 데이터에 유입되어 모델이 실제 환경에서보다 과도하게 높은 성능을 보이는 현상을 의미합니다. 이는 모델의 일반화 능력(Generalization)을 과대평가…
기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…
nDCG (normalized Discounted Cumulative Gain) 1. 개요 nDCG(normalized Discounted Cumulative Gain)는 정보 검색(Information Retrieval) 및 추천 시스템에서 검색 결과나 추천 리스트의 품질을 측정하기 위해 사용되는 순위 평가 지표이다. 단순히 정답 포함 여부만을 따지는 정…
데이터 변환 데이터 변환(Data Transformation)은 데이터 과학 및 정보 처리 과정에서 핵심적인 단계 중 하나로, 원시 데이터를 분석이나 모델링에 적합한 형태로 재구조화하거나 변형하는 작업을 의미합니다. 이 과정은 데이터 정제, 통합, 정규화, 스케일링 등 다양한 기법을 포함하며, 데이터 품질을 높이고 분석 결과의 신뢰성을 보장하는 데 중요한 …
PR-AUC (Precision-Recall Area Under the Curve) 1. 개요 PR-AUC는 정밀도-재현율 곡선 아래의 면적(Area Under the Precision-Recall Curve)을 수치화한 지표로, 이진 분류 모델의 성능을 평가하는 데 사용됩니다. 이 지표는 정밀도(Precision)와 재현율(Recall)의 조화로운 성능을…
가중치 평균 개요 가중치 평균(Weighted Average)은 단순 평균(Arithmetic Mean)과 달리 각 신뢰도를 반영하기 위해 가중치(Weight)를 부여하여 계산하는 평균 방식입니다. 특히 데이터과학과 모델 평가 분야에서 다양한 지표를 종합하거나, 클래스 불균형이 있는 분류 문제에서 성능을 평가할 때 널리 사용됩니다. 단순 평균은 모든 데이터…
단일 활성화 개요 단일 활성화(One-Hot Encoding)는 범주형 데이터(categorical data)를 기계학습 모델이 처리할 수 있도록 수치형 형태로 변환하는 대적인 데이터 인코딩 기 중 하나입니다.주형 변수는 특정한 카테고리나 레이블을 가지는 데이터로, 예를 들어 "성별(남, 여)", "지역(서울, 부산, 대구)" 등이 있습니다. 그러나 대부분…
Term Frequency (단어 빈도) 1. 개요 Term Frequency(TF, 단어 빈도)란 특정 문서 내에서 특정 단어가 등장하는 횟수를 측정하는 지표로, 텍스트 마이닝과 정보 검색(Information Retrieval)에서 문서의 주제나 특징을 파악하기 위해 사용하는 가장 기본적인 통계적 수치이다. TF의 핵심 목적은 "특정 단어가 문서 내에서…
Z-score 표준화 Z-score 표준화(Z-score Standardization)란 데이터의 평균을 0, 표준편차를 1이 되도록 변환하는 데이터 전처리 과정입니다. 서로 다른 척도(Scale)를 가진 변수들을 동일한 기준으로 비교하거나, 특정 값이 전체 데이터 분포에서 어느 정도 위치에 있는지 파악하는 것을 목적으로 합니다. 수식 및 원리 Z-scor…
F1-score 1. 개요 F1-score는 분류 모델의 성능을 평가하는 지표로, 정밀도(Precision)와 재현율(Recall)의 조화 평균(Harmonic Mean)으로 계산되는 수치입니다. 일반적으로 분류 모델의 성능을 측정할 때 정확도(Accuracy)를 사용하지만, 데이터의 클래스 분포가 매우 불균형한 경우(Imbalanced Data) 정확도는…
이진 분류 (Binary Classification) 1. 개요 이진 분류(Binary Classification)란 주어진 데이터를 두 개의 서로 배타적인 클래스(Class) 중 하나로 분류하는 [[지도 학습]](Supervised Learning)의 한 형태이다. 일반적으로 정답 레이블은 0과 1, 혹은 'Positive(긍정/참)'와 'Negative…
범주형 변수 개요 범주형 변수(Categorical Variable)는 데이터 과학과 통계학에서 중요한 데이터 유형 중 하나로, 특정 범주나 그룹에 속하는 값을 가지는 변수를 의미합니다. 이 변수는 정량적인 수치가 아닌 정성적인 속성을 표현하며, 데이터 분석, 머신러닝 모델링, 데이터 시각화 등 다양한 과정에서 핵심적인 역할을 합니다. 예를 들어, 사람의 …
코사인 유사도 (Cosine Similarity) 1. 개요 코사인 유사도(Cosine Similarity)란 두 벡터 간의 각도의 코사인 값을 이용하여 두 벡터가 얼마나 유사한 방향을 가리키고 있는지를 측정하는 알고리즘이다. 이 측정 방식은 벡터의 크기(Magnitude)보다는 방향성(Direction)에 집중하며, 결과값은 일반적으로 -1에서 1 사이의…
TPR (True Positive Rate, 진양성률) 1. 개요 TPR(True Positive Rate, 진양성률)은 이진 분류 모델이 실제 '양성(Positive)'인 샘플을 얼마나 정확하게 '양성'으로 예측했는지를 나타내는 비율이다. 분야에 따라 다양한 명칭으로 불리는데, 통계학 및 의학 분야에서는 민감도(Sensitivity)라고 하며, 머신러닝 …
전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …
모델 평가 (Model Evaluation) 1. 개요 모델 평가란 학습된 머신러닝 모델이 새로운 데이터에 대해 얼마나 정확하고 일반화된 예측 성능을 보이는지를 정량적으로 측정하는 과정이다. 모델 평가의 핵심 목적은 모델의 일반화 성능(Generalization Performance)을 확인하는 것이다. 모델이 학습 데이터에만 지나치게 최적화되어 새로운 데…