# 토큰 (Token) **토큰(Token)**은 컴퓨팅 및 언어 처리 분야에서 원시 데이터 스트림을 의미 있는 최소 단위인 '토큰'으로 분할하는 과정을 지칭합니다. 이는 주로 프로그래밍 언어의 컴파일 과정인 **렉싱(Lexing)**이나 자연어 처리(NLP)의 전처리 단계에서 핵심적인 역할을 수행합니다. 토큰은 문맥에 따라 문자, 단어, 구절, 또는 특...
검색 결과
검색어를 입력하세요.
검색어를 입력하세요.
# 토큰 (Token) **토큰(Token)**은 컴퓨팅 및 언어 처리 분야에서 원시 데이터 스트림을 의미 있는 최소 단위인 '토큰'으로 분할하는 과정을 지칭합니다. 이는 주로 프로그래밍 언어의 컴파일 과정인 **렉싱(Lexing)**이나 자연어 처리(NLP)의 전처리 단계에서 핵심적인 역할을 수행합니다. 토큰은 문맥에 따라 문자, 단어, 구절, 또는 특...