LLM (거대 언어 모델) 1. 개요 LLM(Large Language Model, 거대 언어 모델)은 방대한 양의 텍스트 데이터를 학습하여 인간과 유사한 자연어를 이해하고 생성할 수 있도록 설계된 인공신경망 기반의 딥러닝 모델이다. 여기서 '거대(Large)'함은 크게 두 가지 측면을 의미한다. 첫째는 파라미터(Parameter, 매개변수)의 수로, 모델…
검색 결과
"지도 학습"에 대한 검색 결과 (총 106개)
사전 훈련된 모델 (Pre-trained Model) 1. 개요 사전 훈련된 모델(Pre-trained Model)이란 방대한 양의 데이터셋을 사용하여 특정 작업(Task)을 수행하도록 미리 학습된 머신러닝 모델을 의미한다. 일반적으로 딥러닝 모델을 처음부터 학습시키는 스크래치 학습(Training from scratch)은 막대한 양의 레이블링된 데이터와…
클러스터링 개요 클러스터링(Clustering)은 데이터 포인트를 유사성에 따라 그룹화하는 비지도 학습(unsupervised learning) 기법으로, 데이터의 내재적 구조를 탐색하고 패턴을 발견하는 데 활용됩니다. 이는 분석가들이 대규모 데이터 세트에서 의미 있는 정보를 추출할 수 있도록 도와주며, 마케팅, 생물정보학, 이미지 처리 등 다양한 분야에서…
머신러닝 기반 이상 탐지 (Machine Learning-based Anomaly Detection) 1. 개요 머신러닝 기반 이상 탐지란 데이터셋 내에서 대다수의 데이터와 현저히 다른 패턴을 보이는 희소한 관측치, 즉 '이상치(Outlier)' 또는 '이상 징후(Anomaly)'를 자동으로 식별하는 기술이다. 여기서 정상(Normal) 데이터는 시스템이 …
문서 분류 개요 문서 분류(Document Classification)는 자연처리(NLP, Natural Language Processing)의 핵심술 중 하나로, 주어진 텍스트 문서를 미리 정의된 카테고리나 클래스에 자동으로 배정하는 작업을 의미한다. 이 기술은 방대한 양의 텍스트 데이터를 체계적으로 정리하고, 정보 추출 및 지식 관리의 효율성을 극대화하…
대규모 언어 모델 (Large Language Model, LLM) 1. 개요 대규모 언어 모델(Large Language Model, 이하 LLM)은 방대한 양의 텍스트 데이터를 학습하여 인간과 유사한 자연어를 이해하고 생성할 수 있도록 설계된 거대 인공 신경망 모델이다. LLM은 수십억 개 이상의 파라미터(Parameter, 모델 내부의 가중치로 학습을…
데이터 마이닝 개요 데이터 마이닝(Data Mining)은 대량의 데이터에서 숨겨진 패턴, 상관관계, 추세 및 유용한 정보를 추출하는 데이터 분석 기술의 한 분야입니다. 이는 데이터베이스 지식 발견(Knowledge Discovery in Databases KDD) 프로세스의 핵심 단계로, 통계학, 기계학습, 데이터베이스 기술 등이 융합된 다학제적 접근을 …
OpenAI Whisper OpenAI에서 개발한 오픈소스 자동 음성 인식(Automatic Speech Recognition, ASR) 모델입니다. 방대한 양의 다국어 및 다중 작업 웹 데이터를 학습하여 음성 인식, 언어 식별, 그리고 영어 번역 기능을 통합적으로 제공합니다. 특징 다국어 지원: 수십 개의 언어를 인식하고 처리할 수 있으며, 다양한 언어의…
DialoGPT 1. 개요 DialoGPT는 Microsoft에서 개발한 대화형 생성 모델로, 대규모 텍스트 코퍼스로 사전 훈련된 GPT-2(Generative Pre-trained Transformer 2) 모델을 Reddit의 대화형 데이터셋으로 미세 조정(Fine-tuning)하여 인간과 유사한 다회차 대화(Multi-turn Conversation)…
목표 기반 인코딩 목표 기반 인코딩(Target-based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환 데이터 인코딩법 중 하나로, 특히 지도 학습(Supervised Learning)에서 목표 변수(Target Variable)와의 관계를 활용하여 인코딩을하는 방법입니다. 이 방은 단순한 레이블 인코딩(La…
이진 분류 (Binary Classification) 1. 개요 이진 분류(Binary Classification)란 주어진 데이터를 두 개의 서로 배타적인 클래스(Class) 중 하나로 분류하는 [[지도 학습]](Supervised Learning)의 한 형태이다. 일반적으로 정답 레이블은 0과 1, 혹은 'Positive(긍정/참)'와 'Negative…
Denoising Autoencoders (DAE) 본 문서는 수식을 사용하여 작성되었습니다. 1. 개요 Denoising Autoencoder (DAE)는 입력 데이터에 의도적으로 노이즈(Noise)를 추가한 뒤, 이를 다시 원본 데이터로 복원하도록 학습함으로써 데이터의 강건한(Robust) 특징을 추출하는 비지도 학습 기반의 신경망 구조이다. 일반적인 …
인공지능 개요 인공지능Artificial Intelligence, AI)은 인간의 지능을 모방하거나 이를월하는 기계적 시스템을 설계하고 구현하는 컴퓨터 과학의 한 분입니다. 인공지능은 인간이 보이는 사고, 학습, 추론, 인식, 문제 해결, 의사 결정 등의 능력을 소프트웨어나 하드웨어를 통해 재현하는 것을 목표로 합니다. 최근 수십 년간 컴퓨팅 성능의 비약적…
의도 이해 의도 이해(Intent Understanding)는 자연어(Natural Language Processing, N) 분야에서 사용자의 언어이 담고 있는 목적이나 의도를 정확히 파악하는심 기술입니다. 이는 대화형 시스템, 챗봇, 음성 비서, 고객 서비스 자동화 등 다양한 응용 분야에서 핵심적인 역할을 하며, 사용자가 말한 문장의 표면적인 의미를 넘…
요약 개요 자연어처리(Natural Language, NLP)에서 요약ummarization)은 긴 텍스트의 핵심 정보를 간결하고 이해하기 쉬 형태로 재구하는 기술을 의미. 이는 문서,스 기사,고서, 연구 논문 등 다양한 텍스트 자료의 정보를 효율적으로 전달하는 데 중요한 역할을 하며, 정보 폭증 시대에 사용자들이 빠르게 주요 내용을 파악할 수 있도록 돕습…
모델 훈련 개요 모델 훈련(Model)은 머신닝(Machine Learning) 핵심 과정, 주어진 데이터를 기반으로 모델이 특정 작업을 수행할 수 있도록 학습시키는 절차를 의미합니다. 이 과정에서 알고리즘은 입력 데이터와 정답(라벨) 사이의 관계를 학습하여, 새로운 데이터에 대해 정확한 예측이나 판단을 내릴 수 있는 능력을 획득하게 됩니다. 모델 훈련은 …
결함 검출 개요 결함 검출(Def Detection)은 산업 생산정에서 제품이나 자재에 존재하는 물리적, 구조적 또는 기능적 이상을 식하는 핵심적인 품질 관리 활동입니다. 이는 제조업 전반에서 제품의 신뢰성, 안전성, 일관성을 보장하기 위한 필수 절차로, 자동차, 반도체, 항공우주, 금속 가공, 전자기기 등 다양한 산업 분야에서 활용됩니다. 결함 검출 기술…
기계번역 (Machine Translation) 1. 개요 기계번역(Machine Translation, MT)이란 컴퓨터 소프트웨어를 사용하여 한 자연어(출발어)를 다른 자연어(도착어)로 자동 변환하는 인공지능 기술이다. 이는 자연어 처리(NLP, Natural Language Processing)의 핵심 분야 중 하나로, 인간의 언어적 복잡성과 문맥적 …
scikit-learn 개요 scikit-learn은 파이썬 프로그래밍 언어를 기반으로 한 오픈소스 머신러닝 라이브러리입니다. 과학적 컴퓨팅과 데이터 분석을 위한 Python 생태계(SciPy)에 포함되어 있으며, 데이터 마이닝, 데이터 분석, 예측 모델링 등 다양한 기능을 제공합니다. 2007년에 처음 공개된 이후로, 개발자와 데이터 과학자가 머신러닝 알…
FastText FastText는 페이스북(Facebook AI Research, FAIR에서 개발한 오픈소스 라이브러리로, 텍스트 분류 및 단어 표현 학습을 위한 효율적이고 확장 가능한 자연어처리(NLP) 도구입니다. FastText는 기존의 단어 임베딩 기법인 Word2Vec과 유사한 목표를 가지지만, 서브워드(subword) 정보를 활용함으로써 단어 …