자기-어텐션 (Self-Attention) 1. 개요 자기-어텐션(Self-Attention)은 입력 시퀀스 내의 각 토큰이 동일한 시퀀스 내의 다른 모든 토큰과의 관계를 계산하여, 현재 토큰의 의미를 가장 잘 설명하는 문맥적 정보를 동적으로 추출하는 메커니즘이다. 이는 입력 데이터의 각 요소가 서로 어떤 연관성을 가지고 있는지를 파악함으로써, 문장 내의 …
검색 결과
"GPU 메모리 계층"에 대한 검색 결과 (총 2개)
cuBLAS cuBLAS(CUDA Basic Linear Algebraprograms)는 NVIDIA에서 개발 GPU 기반의성능 선형대수 라이브러리로 CUDA 플랫폼에서 실행되는 C/C++ 및 Fortran 애플리케이션 대해 BLAS(B Linear Algebra Subprograms) 표준을 구현한 소프트웨어 라이브러리. 이 라이브러리는 행렬-벡터 연산,…