# 수동 평가 (Manual Evaluation) ## 개요 **수동 평가**(Manual Evaluation)란 인공지능(AI), 특히 자연어 처리(NLP) 및 생성형 AI 모델의 성능을 측정할 때, 컴퓨터가 자동으로 계산하는 지표(예: BLEU, ROUGE, 정확도 등)에 의존하지 않고, **전문가나 인간 평가자(Human Evaluator)가 직접...
검색 결과
"평가 지표"에 대한 검색 결과 (총 112개)
# ROC Curve (Receiver Operating Characteristic Curve) ## 개요 **ROC 곡선**(Receiver Operating Characteristic Curve)은 이진 분류(Binary Classification) 모델의 성능을 평가하고 시각화하는 데 널리 사용되는 그래프입니다. 주로 의료 진단, 스팸 필터링, 신...
# 모델 예측 (Model Prediction) ## 개요 **모델 예측**(Model Prediction)은 머신러닝 및 딥러닝 분야에서 학습된 알고리즘이 새로운, 보지 못한 데이터(Unseen Data)에 대해 특정 결과를 도출해 내는 과정을 의미합니다. 모델 학습(Model Training)이 과거의 데이터(레이블이 있는 정답 데이터)를 통해 패턴...
# 비용-편익 분석 (Cost-Benefit Analysis, CBA) ## 개요 **비용-편익 분석**(Cost-Benefit Analysis, 줄여서 **CBA**)은 프로젝트, 정책, 또는 투자 결정의 타당성을 평가하기 위해 사용되는 체계적인 방법론입니다. 이 분석은 특정 활동이나 결정으로 인해 발생하는 모든 잠재적 비용과 편익을 정량화하고, 이를...
# 시퀀스 라벨링 (Sequence Labeling) **시퀀스 라벨링**(Sequence Labeling)은 자연어 처리(NLP) 분야에서 입력된 연속적인 데이터 시퀀스(일반적으로 단어 또는 문자 단위)에 대해 각 요소마다 해당하는 클래스 라벨을 예측하는 지도 학습 문제입니다. 이는 문장의 구조적 이해를 바탕으로 개별 토큰의 의미를 파악하는 데 핵심적인...
# 집단별 성능 지표 (Stratified Performance Metrics) ## 개요 **집단별 성능 지표(Stratified Performance Metrics)**는 머신러닝 및 데이터 과학 모델의 평가 과정에서 전체 데이터셋의 평균 성능만으로는 파악하기 어려운 하위 그룹(Sub-group) 간의 성능 편차(Disparity)를 정량화하기 위해...
# MultiNLI **MultiNLI**(Multi-Genre Natural Language Inference)는 자연어 처리(NLP) 분야에서 널리 사용되는 대규모 텍스트 데이터셋으로, **자연어 추론(Natural Language Inference, NLI)** 과제를 평가하고 발전시키기 위해 설계되었습니다. 이 데이터셋은 스탠포드 대학교의 자연어 ...
# XSum (Extreme Summarization) **XSum**은 자연어 처리(NLP), 특히 텍스트 요약(Text Summarization) 분야에서 널리 사용되는 대규모 엔드투엔드(End-to-End) 요약 벤치마크 데이터셋입니다. 2018년 옥스퍼드 대학의 NLP 연구팀에 의해 공개된 이 데이터셋은 기존 요약 데이터셋들이 가진 한계를 극복하기...
# Supervised Fine-tuning (지도 미세 조정) **Supervised Fine-tuning**(SFT, 지도 미세 조정)은 대규모 언어 모델(Large Language Model, LLM)이나 다른 딥러닝 모델을 특정 작업이나 도메인에 맞게 전문화시키기 위해, 레이블이 지정된 데이터셋을 사용하여 사전 학습된 모델의 가중치를 추가로 학습시...
# 채용 추천 (Recruitment Recommendation) ## 개요 **채용 추천(Recruitment Recommendation)**은 기업이나 조직이 최적의 인재를 선발하기 위해 다양한 데이터, 알고리즘, 그리고 전문가의 판단을 활용하여 지원자를 평가하고 적합한 후보를 선별하는 과정을 의미합니다. 전통적인 채용 방식이 주로 이력서와 면접을 ...
# 위양성율 (False Positive Rate) **위양성율**(False Positive Rate, 약자 **FPR**)은 이진 분류(Binary Classification) 문제에서 실제 음성(Negative)인 샘플 중 모델이 양성(Positive)으로 잘못 예측한 비율을 의미합니다. 즉, "사건이 발생하지 않았음에도 불구하고 사건이 발생했다고 ...
# 레이블의 분포 (Label Distribution) ## 개요 **레이블의 분포(Label Distribution)**는 기계 학습(Machine Learning) 및 데이터 과학 분야에서 분류(Classification) 문제의 타겟 변수(Target Variable)가 데이터셋 내에서 어떻게 할당되어 있는지를 나타내는 통계적 특성입니다. 특히 지...
# 파괴적 망각 (Catastrophic Forgetting) 파괴적 망각은 연속 학습(Continual Learning) 환경에서 인공지능 모델이 새로운 작업을 학습하는 과정에서 기존 작업의 성능이 급격히 저하되는 현상을 의미합니다. 이는 인간 학습자가 새로운 지식을 습득하더라도 기존 지식을 완전히 잊지 않는 능력과 대비되는 머신러닝의 근본적인 한계 중...
# 머신러닝(Machine Learning) 머신러닝은 명시적인 프로그래밍 없이 컴퓨터가 데이터를 통해 스스로 학습하고 패턴을 인식하여 예측 또는 결정을 내리는 인공지능(AI)의 핵심 하위 분야입니다. ## 머신러닝의 개요와 정의 머신러닝은 아서 사무엘(Arthur Samuel)이 1959년 "컴퓨터가 특정 작업을 수행하기 위해 명시적인 명령어 없이 ...
# 수치 예측 문제 (Numerical Prediction Problem) ## 개요 수치 예측 문제는 머신러닝에서 입력 데이터의 특징을 바탕으로 연속적인 실수 값(continuous value)을 출력하는 지도 학습(Supervised Learning) 태스크입니다. 이 분야는 통계학의 **회귀 분석(Regression Analysis)**에 이론적 뿌...
# CheXNet ## 개요 **CheXNet**은 딥러닝 기반의 의료 영상 분석 모델로, 흉부 X-선 이미지에서 흉부 질환을 탐지하는 데 특화되어 개발된 인공의 연구팀이 2017년에 발표한 이 모델은 의료 인공지능 분야에서 중요한 이정표로 평가, 방사선 전문의 수준의 성능을 달성했다는 점에서 주목을 받았습니다. CheXNet은 대규모 공개 흉부 X-선...
# FWER ## 개요 **FWER**(Family-Wise Error Rate, 족별 오류율)은 다중 가설 검정(multiple hypothesis testing)에서 중요한 개념으로, **적어도 하나의 귀무가설을 잘못 기각할 확률**, 즉 **적어도 하나의 제1종 오류(Type I error)를 범할 확률**을 의미합니다. 단일 가설 검정에서는 제1...
# 정밀도 정밀도(Precision)는 인공지능, 특히 머신러닝 모델의 성능을 평가하는 핵심 지표 중 하나로, **모델이 긍정으로 예측한 샘플 중 실제로 긍정인 비율**을 의미합니다. 주로 분류 문제, 특히 이진 분류(Binary Classification)에서 사용되며, 모델의 예측 결과가 얼마나 신뢰할 수 있는지를 판단하는 데 중요한 역할을 합니다. ...
# F1 score ## 개요 **F1 score**(F1 점수)는 머신러닝과 데이터 과학 분야에서 분류 모델의 성능을 평가하는 데 널리 사용되는 지표입니다. 특히 **정밀도**(Precision)와 **재현율**(Recall) 사이의 균형을 중요시할 때 유용하며, 두 지표의 조화 평균(Harmonic Mean)으로 정의됩니다. F1 score는 불균형...
# 인공지능 성능 측정 인공지능(AI)의 성능 측정은 AI 시스템이 주어진 과제를 얼마나 효과적이고 정확하게 수행하는지를 평가하는 과정입니다. AI 기술이 급속도로 발전함에 따라, 단순한 정확도 이상의 다양한 지표를 활용하여 모델의 신뢰성, 효율성, 공정성 등을 종합적으로 평가하는 것이 중요해졌습니다. 이 문서는 인공지능 성능 측정의 주요 개념, 평가 지...