어휘 사전 (Vocabulary) 1. 개요 어휘 사전(Vocabulary)이란 자연어 처리(NLP)에서 모델이 처리할 수 있는 모든 고유한 토큰(Token, 텍스트의 최소 의미 단위)의 집합을 의미하며, 텍스트 데이터를 컴퓨터가 이해할 수 있는 수치형 벡터로 변환하기 위한 기초 매핑 테이블 역할을 한다. 2. 어휘 사전 구축 과정 어휘 사전 구축은 원시 …
검색 결과
"고정된 크기의 밀집 벡터"에 대한 검색 결과 (총 3개)
Term Frequency (단어 빈도) 1. 개요 Term Frequency(TF, 단어 빈도)란 특정 문서 내에서 특정 단어가 등장하는 횟수를 측정하는 지표로, 텍스트 마이닝과 정보 검색(Information Retrieval)에서 문서의 주제나 특징을 파악하기 위해 사용하는 가장 기본적인 통계적 수치이다. TF의 핵심 목적은 "특정 단어가 문서 내에서…
인코딩 개요 데이터 전처리 과정에서 인코딩(Encoding)은 범주형 데이터(categorical data)를 머신러닝 모델이 이해할 수 있는 수치형 형식으로 변환하는 핵심 기술입니다. 대부분의 머신러닝 알고리즘은 문자열이나 라벨 형태의 범주형 데이터를 직접 처리할 수 없으므로, 이를 숫자로 변환하는 과정이 필수적입니다. 인코딩은 데이터의 의미를 보존하면서…