# Vision Transformer ## 개요 **Vision Transformer**(ViT)는 전통적으로 이미지 인 작업에서 지배적인 위치를 차지해온합성곱 신망**(CNN)과는 다른 접근 방식을 제시한 획기적인 인공지능 모델이다. 2020년 Research 팀이 발표한 논문 *"An Image is Worth 16x16 Words: Transfor...
검색 결과
"특수 토큰"에 대한 검색 결과 (총 6개)
# WordPiece ## 개요 **WordPiece**는 자연어 처리(Natural Language Processing, NLP 분야에서 널리 사용되는 하위 어휘(subword) 토큰화 기법 중 하나로, 특히 **BERT**(Bidirectional Encoder Representations from Transformers) 모델에서 기본 토큰화 방식...
# Tokenization ## 개요 **토큰화(Tokenization)**는 자연어처리(Natural Language Processing, NLP)의 핵심 전처리 단계 중 하나로, 텍스트를 있는 단위인 **토큰**(Token)으로 나누는 과정을 의미합니다. 이 과정은 언어의 구조를 컴퓨터가 이해하고 처리할 수 있도록 변환하는 첫 번째 단계로, 이후의 ...
# 트라이그램 트라이그램(Tr)은 자연어 처리(Natural Language Processing, NLP) 분야에서 텍스트의 언어적조를 모델하는 데 사용되는 통적 언어 모델의 한 형태입니다. 특히 **N-그램(N-gram)** 모델의 일종으로, 연된 세 개의 단어(또는 토큰)로 구성된 단위를 기반으로 언어의 확률적턴을 분석하고 예측하는 데 활용됩니다. 트...
# Vocabulary 자연어 처리(Natural Language Processing, NLP) 분야에서 **어휘**(Vocabulary)는 언어를 컴퓨터가 이해하고 처리할 수 있도록 구성하는 가장 기본적이면서도 핵심적인 요소입니다. 어휘는 특정 언어나 텍스트 집합에서 사용되는 모든 단어 또는 토큰(token)의 집합을 의미하며, 자연어 처리 시스템의 성...
# 임베딩 ## 개요 **임베딩**(Embedding)은 자연어처리(NLP, Natural Language Processing) 분야에서 핵심적인 기술 중 하나로, 텍스트 데이터를 컴퓨터가 이해하고 처리할 수 있는 수치 형태의 벡터로 변환하는 방법을 의미합니다. 언어는 본질적으로 기호적이고 이산적인 구조를 가지지만, 머신러닝 모델은 연속적인 수치 데이터...