트랜스포머 개요 트랜스포머(Transformer)는 자연어처리LP) 분야 혁신적인 영향을 미친 딥러닝 아키텍처로, 2017년글과 빌런드 연구소의 연구자들이 발표한 논문 "Attention is All You Need"에서 처음 소개되었습니다. 기존의 순차적 처리 방식을 기반으로 한 순환신경망(RNN)이나 합성곱신경망(CNN)과 달리, 트랜스포머는 어텐션 메…
검색 결과
"커널 함수"에 대한 검색 결과 (총 14개)
PDF 개요 PDF(Probability Density Function, 확률 밀도 함수)는 확론과 통계학 연속 확률 변수의 확률 분포를 설명하는 핵심 개념이다. 이 함수는 특정 값에서 확률 변수가 나타날 상대적 가능도를 나타내며, 확률 변수가 특정 구간에 속할 확률을 그 구간에서의 PDF의 적분을 통해 계산할 수 있다. PDF는 이산 확률 변수의 경우 사…
자기-어텐션 (Self-Attention) 1. 개요 자기-어텐션(Self-Attention)은 입력 시퀀스 내의 각 토큰이 동일한 시퀀스 내의 다른 모든 토큰과의 관계를 계산하여, 현재 토큰의 의미를 가장 잘 설명하는 문맥적 정보를 동적으로 추출하는 메커니즘이다. 이는 입력 데이터의 각 요소가 서로 어떤 연관성을 가지고 있는지를 파악함으로써, 문장 내의 …
컨벌루션 (Convolution) 컨벌루션(Convolution, 합성곱)은 두 개의 함수가 결합하여 제3의 함수를 생성하는 수학적 연산으로, 한 함수를 반전(Flip)시키고 이동(Shift)시키며 겹치는 영역의 적분 또는 합을 계산하는 과정이다. 1. 개요 컨벌루션은 [[신호처리]], 수학, 물리학, 그리고 현대의 딥러닝에 이르기까지 광범위하게 사용되는 …
시스템 콜 (System Call) 1. 개요 시스템 콜(System Call)은 사용자 애플리케이션이 운영체제의 커널(Kernel, OS의 핵심 기능을 수행하는 중심부)이 제공하는 서비스에 접근하기 위해 사용하는 프로그래밍 인터페이스이다. 현대 운영체제는 시스템의 안정성과 보안을 위해 CPU의 실행 권한을 사용자 모드(User Mode)와 커널 모드(Ke…
커널 통합 (Kernel Integration) 1. 개요 커널 통합(Kernel Integration)이란 운영체제(OS)의 핵심인 커널이 하드웨어 추상화, 메모리 관리, 프로세스 스케줄링 등의 핵심 기능을 수행하기 위해 다양한 서브시스템, 장치 드라이버, 그리고 외부 모듈을 하나의 실행 가능한 논리적 단위로 결합하는 기술적 과정을 의미한다. 커널은 사용…
복소형 푸리에 급수 (Complex Fourier Series) 복소형 푸리에 급수는 주기 함수를 복소 지수 함수의 무한 합으로 표현하는 수학적 방법으로, 실수형 삼각함수 푸리에 급수를 오일러 공식을 통해 보다 간결한 복소수 형태로 일반화한 것이다. 1. 기초 개념 및 주기 함수 1.1 주기 함수의 정의 푸리에 급수를 정의하기 위해서는 먼저 대상이 되는 함…
CUDA (Compute Unified Device Architecture) CUDA(Compute Unified Device Architecture)는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼 및 API 모델입니다. GPU(Graphics Processing Unit)가 본래 수행하던 그래픽 렌더링 작업을 넘어, 일반적인 계산 작업(General-Purp…
가우시안 프로세스 (Gaussian Process) 가우시안 프로세스(Gaussian Process, 줄여서 GP)는 기계 학습과 통계학에서 비모수적 베이지안 접근법을 사용하여 함수를 모델링하는 강력한 확률 과정(probabilistic process)입니다. 주로 회귀(Regression) 문제에서 예측의 불확실성을 정량화하는 데 널리 사용되며, 특히 데…
One-Class SVM One-Class SVM(One-Class Support Vector)은 비지도 학습(Unsupervised Learning) 기반의 이상 탐지(Anomaly Detection) 알고리즘 중 하나로, 주어진 데이터가 정상(normal) 데이터인지, 아니면 이상(anomaly 또는 outlier) 데이터인지를 판단하는 데 사용된다. …
다항식 커널 개요 다항식널(Polynomial Kernel)은 신러닝, 특히 서포트 벡터 머신(Support Vector Machine, SVM)과 같은 커널 기반 알고리즘에서 널리 사용되는 비선형 커널 함수 하나입니다. 이 커은 입력 데이터 간의 유사도를 고차원 공간에서 효과적으로 계산함으로써, 선형적으로 분리되지 않는 복잡한 데이터 패턴도 분류하거나 회…
서포트 벡터 머신 개요 서트 벡터 머신(Support Vector Machine, SVM)은 기계학습(Machine Learning) 분야에서 널리 사용되는 지도 학습(supervised learning) 알고리즘으로, 주로 분류(classification) 문제에 활용되지만 회귀(regression) 및 이상치 탐지(outlier detection)에도 …
SVM (서포트 벡터 머신) 서포트 벡터 머신(Support Vector Machine, SVM은 머신러닝 분에서 널리 사용되는 지도 학습 기반의 분류 알고리즘으로, 주로 이진 분류 문제에 사용되지만 다중 클래스 분류에도 확장 가능하다. SVM은 데이터 포인트를 고차원 공간으로 매핑하여 최적의 경계선(hyperplane)을 찾아 서로 다른 클래스를 효과적으…
smoothing parameter 개요 Smoothing parameter(스무딩 파라터)는 머신러닝 및계 모델링에서 데이터의 노이즈ise)를 줄 모델의 일반화능을 향상시키기 위해 사용되는 중요한 하이퍼파라미터입니다. 이 파라미터 모델이 데이터에 과적합overfitting)되는 것을 방지하고, 관측된 데이터의 불확실성이나 변동성을 완화하여 더 부드러운 예…