# 딥러닝 기반 방법 ## 개요 딥러닝 기반 방법은 머신러닝의 한 분야로, 인공신경망(Artificial Neural Networks, ANN)의 다층 구조를 활용하여 데이터에서 복잡한 패턴과 특징을 자동으로 학습하는 기술입니다. 특히 깊은 네트워크 구조(즉, 여러 개의 은닉층을 가진 구조)를 사용함으로써 기존의 머신러닝 기법들이 해결하기 어려웠던 고차...
검색 결과
"NeurIPS"에 대한 검색 결과 (총 30개)
# 맥락 의존성 ## 개요 **맥락 의존성**(Context Dependency)은 자연어처리(Natural Language Processing, NLP) 분야에서 언어의 의미가 단어나 문장 자체보다는 그 주변의 언어적 또는 비언어적 맥락에 따라 달라질 수 있다는 개념을 의미한다. 인간 언어는 고도로 맥락에 의존적이며, 동일한 표현이 상황에 따라 완전히...
# LightGBM LightGBM은 마이크로소프트에서 개발한 고성능의 경량 그래디언트 부스팅 프레임워크로, 대규모 데이터셋에서도 빠르고 효율적인 학습을 가능하게 하는 머신러닝 알고리즘입니다. 특히 분류, 회귀, 순위 예측 등 다양한 머신러닝 과제에서 뛰어난 성능을 보이며, XGBoost, CatBoost 등과 함께 대표적인 그래디언트 부스팅 트리(Gra...
# Sennrich et al. (2016) ## 개요 Sennrich et al. (2016)은 자연어처리, 특히 **기계 번역**(Machine Translation, MT) 분야에서 중요한 전환점을 마련한 논문으로, **백워드 번역**(Back-Translation)과 **서브워드 유닛**(Subword Units) 기반의 **바이트 페어 인코딩*...
# XSum ## 개요 **XSum**은 자연어처리(NLP) 분야에서 특히 **문서 요약**(text summarization) 연구에 널리 사용되는 영어 기반의 대규모 요약 데이터셋입니다. 이 데이터셋은 BBC 뉴스 기사를 원본 텍스트로, 기사의 핵심 내용을 담은 매우 짧은 요약문을 정답(label)으로 구성하고 있으며, **추출형 요약**(extra...
# Exploring the Limits Transfer Learning ## 개요 **전 학습**(Transfer Learning) 한 도메인 작업에서 학습한식을 다른 관련메인이나 새로운에 적용하는 기계 학습의 핵심 기법입니다. 특히 대모 언어 모델(Large Language Models, LLMs)의 발전과 함께 전이 학습은 자연어 처리(NLP) 분...
자동 라벨 ## 개요**자동 라벨링**(Autoing)은 머신러닝 및 데이터 과학 분야에서 대량의 데이터에 빠르고 효율적으로이블(label)을 부여하는술을 의미합니다. 레이블 지도 학습(supervised)에서 모델 학습할 수 있도록 입력 데이터에 부여되는 정답 또는 분류 정보를 말하며, 예를 들어 이미지 데이터에 "고양이", "개와 같은 객체 이름 붙이...
# SHAP 값 ## 개요 SHAP 값(Shapley Additive exPlanations) 머신러닝 모델의 예측 결과를 해석하기 위한모델 해석성**(Interpretability) 기법 중로, 게임 이론의 **샤플리 값**(Shapley Value) 개념을 기반으로 합니다. SHAP은 각 특성(feature)이 모델의 개별 예측에 기여한 정도를 정량...
# 트랜스포머 아처 ## 개요 **트스포머**(Transformer) 아처는 자연어(NLP) 분야 혁명적인 변화를끌어낸 딥러닝 모델 구조로, 2017년 구글 딥마인드 연구진이 발표한 논문 *"Attention is All You Need"*에서 처음 소개되었습니다. 기존의 순적 처리 방식(RNN LSTM 등)에 의존하던 자연어 모델들과 달리, 트랜스포머...
# Few-shot 학습 ## 개 **Few-shot 학습**(Few-shot Learning)은 머신러닝 특히 딥러닝 분야에서 **매우 적은 수의 학습 샘플**(예: 클래스당 1~5개)만으로 새로운 개념 클래스를 학습하고 인식 수 있도록 하는 학습 방법입니다. 전통적인 지도 학습은 수천에서 수백만 개 레이블링된 데이터를 필요로 하지만, 실제 응용에서는...
# 프롬프트 기반 추 ## 개요**프롬프트반 추론**(-based Reasoning) 인공지능, 대규모 언 모델(Large Language Models,LM)의 성능을 평가하고 향상시키기 위한 핵심적인 방법론 중 하나입니다 이 기법은 모델이 주어진(프롬프트)을 바으로 논리적 사고, 추론, 해결 능력을 발휘하도록 유도하는 방식으로, 전통적인 지도 학습 방식...
# 사전 학습 **사전 학습**(Pre-training) 머신러닝, 특히 딥닝 분야에서리 사용되는 학습 전략으로, 모델이 특정 작업에 본격적으로 적용되기 전에 방대한 양의 일반적인 데이터를 통해 기본적인 지식이나 표현 능력을 습득하는 과정을 의미합니다. 이 방법은 주어진 과제(예: 텍스트 분류, 이미지 인식)에 대한 **전이 학습**(Transfer Le...
# 트랜스포머 ## 개요 **트랜스포머**(Transformer는 2017년 구과 유니버시티 오브 토론토 연구진이 발표한 논문 *"Attention is All You Need"*에서안된 딥러닝 기반의 **시퀀스-투-시퀀스**(sequence-to-sequence) 신경망 아키텍처입니다. 이 모델은 순환 신경망(RNN)이나 합성곱 신경망(CNN)과 달리...
# 퍼플렉서티 ## 개요 **퍼플렉서티**(plexity)는 자연어(Natural Language Processing NLP) 분야 언어 모델(Language Model)의 성능을 평가하는 대표적인 지표 중 하나입니다 직관적으로, 퍼플렉서티 모델이 주어진 텍스트 시퀀스를 예측하는 데 얼마나 '당황'하는지를 나타내는 수치로 해석할 수 있습니다. 즉, 퍼플...
인간 피드백 ## 개요**인간 피드 수집**(Human Feedback Collection)은 인공지능(AI) 시스템, 특히 머신러닝 모델의 성능 향상과 행동 조정을 위해 인간의 판단, 평가, 선택 등을 수집하는 과정을 말합니다. 이는 주로 강화학습 기반 모델(예: LLM, 로봇 제어 등)의 학습 데이터를 보완하거나, 모델의 출력 결과에 대한 질적 평가를...
편향 ##요 머신러닝에서 **편향**(Bias)은 모델이 학습 데이터에서 실제 패턴을 얼마나 정확하게영하는지를 나타내는 중요한 개념이다. 일반적으로 편향은 모델의 예측 값과 관측 값 사이의 평균적인 차이를 의미하며, **낮은 편향**은 모델이 데이터를 잘 학습하고 있음을, **높은 편향**은 모델이 데이터의 실제 구조를 간과하고 있다는 것을 나타낸다. ...
# Bidirectional Encoder Represent from Transformers ## 개요 **Bid Encoder Representations from Transformers**(BERT는 자연어 처리(NLP) 분야 혁신적인 성를 이룬 언어델로, 018년글(Google) 연구에 의해 개발. BERT는 이전의 단방향 언어 모델들(예: GPT...
# 스케일드 닷 프덕트 어텐션 스케드 닷 프로덕트 어션(Scaled Dot-Product Attention) 자연어처리(NLP) 분야에서 가장 핵심적인 어텐션 메커니즘 중 하나로, 특히 트스포머(Transformer) 아키텍처에서 중심적인 역할을 합니다. 이 메커니즘은 입력 시퀀스 내 각 단어 간의 관련성을 효율적으로 계산하여, 모델이 문장의 의미를 보다...
# 하이퍼파라미터적화 ## 개요 하이퍼파라미터 최적화(Hyperparameter Optimization)는 머신러닝 모델의 성능을 극대화하기 위해 모델 학습 전에 설정해야 하는 **하이퍼파라미터**(Hyperparameter)의 최적 값을 탐색하는 과정입니다. 하이퍼파라미터는 모델의 구조나 학습 방식을 결정하는 중요한 설정값으로, 예를 들어 학습률(Le...
# zero-shot 전이 학습 ## 개요 **zero 전이 학습**(Zero-Shot Transfer Learning) 인공지능 특히 기계학습과 자연어 처리 분야에서 중요한 개념 중 하나로, 모델이 **훈련 과정에서 한 번도 본 적 없는 클래스**(unseen classes)에 대해 예측을 수행할 수 있도록 하는 기법입니다. 이는 전이 학습(Trans...