# 토큰 (Token)

**토큰(Token)**은 컴퓨팅 및 언어 처리 분야에서 원시 데이터 스트림을 의미 있는 최소 단위인 '토큰'으로 분할하는 과정을 지칭합니다. 이는 주로 프로그래밍 언어의 컴파일 과정인 **렉싱(Lexing)**이나 자연어 처리(NLP)의 전처리 단계에서 핵심적인 역할을 수행합니다. 토큰은 문맥에 따라 문자, 단어, 구절, 또는 특수 기호 등 다양한 형태를 가질 수 있으며, 컴퓨터가 인간의 언어나 코드를 이해하고 처리할 수 있는 구조화된 데이터로 변환하는 첫 번째 관문입니다.

## 1. 개요 및 정의

토큰화는(Tokenization) 텍스트나 코드와 같은 연속적인 데이터 스트림을 분석하여 논리적으로 의미 있는 조각들로 나누는 과정입니다. 이 과정에서 생성된 각 조각을 **토큰(Token)**이라고 부릅니다.

*   **프로그래밍 언어 컴파일러**: 소스 코드를 식별자(Identifier), 키워드(Keyword), 연산자(Operator), 리터럴(Literal) 등의 토큰으로 분해합니다.
*   **자연어 처리(NLP)**: 문장을 단어(Word), 서브워드(Subword), 또는 문자(Character) 단위로 나누어 기계가 이해할 수 있는 수치적 임베딩(Embedding)의 기초 자료로 사용합니다.

토큰의 개념은 디지털 세계와 인간 언어 세계를 연결하는 번역기 역할을 하며, 현대 인공지능 모델의 성능을 결정하는 중요한 요소 중 하나입니다.

## 2. 프로그래밍 언어에서의 토큰

컴퓨터가 소스 코드를 실행하기 위해서는 먼저 코드의 의미를 파악해야 합니다. 이를 위해 컴파일러나 인터프리터는 **렉서(Lexer)** 또는 **스캐너(Scanner)**라는 모듈을 통해 코드를 토큰으로 분할합니다.

### 2.1 토큰의 종류

프로그래밍 언어에서 일반적으로 사용되는 토큰의 유형은 다음과 같습니다.

| 토큰 유형 | 설명 | 예시 (C/Java 스타일) |
| :--- | :--- | :--- |
| **키워드 (Keyword)** | 언어가 예약한 특수한 의미를 가진 단어 | `if`, `else`, `return`, `class` |
| **식별자 (Identifier)** | 변수, 함수, 클래스 등의 이름을 지정한 문자열 | `main`, `userAge`, `calculateSum` |
| **리터럴 (Literal)** | 코드에서 직접적으로 값 자체를 나타내는 상수 | `42`, `"Hello"`, `3.14`, `true` |
| **연산자 (Operator)** | 연산이나 작업을 나타내는 기호 | `+`, `-`, `=`, `==`, `&&` |
| **구분자 (Delimiter)** | 코드의 구조를 정의하는 기호 | `{`, `}`, `;`, `(`, `)` |

### 2.2 토큰화 과정의 예시

다음 코드를 예로 들어 토큰화 과정을 설명하겠습니다.

```c
int x = 10;
```

이 코드는 다음과 같은 토큰 시퀀스로 분해됩니다.

1.  `int` (키워드: 정수형 타입 선언)
2.  `x` (식별자: 변수명)
3.  `=` (연산자: 대입 연산)
4.  `10` (리터럴: 정수 값)
5.  `;` (구분자: 문장 종료)

이렇게 분할된 토큰들은 이후 파서(Parser) 단계로 전달되어 문법적 구조(Syntax Tree)를 구성하게 됩니다.

## 3. 자연어 처리(NLP)에서의 토큰

자연어 처리, 특히 대규모 언어 모델(LLM)의 맥락에서 토큰은 단어 이상의 의미를 가집니다. 인간의 언어는 무한한 단어 조합을 가지므로, 모델이 모든 단어를 직접 학습하는 것은 비효율적입니다. 따라서 **서브워드 토큰화(Subword Tokenization)** 기법이 널리 사용됩니다.

### 3.1 토큰화의 필요성

1.  **미숙어(OOV, Out-Of-Vocabulary) 문제 해결**: 학습 데이터에 없던 새로운 단어가 등장했을 때, 이를 하위 단위로 분할하여 모델이 유추할 수 있게 합니다.
2.  **어휘 크기 최적화**: 무한한 단어를 처리하기 위해 제한된 크기의 어휘 집합(Vocabulary) 내에서 효율적으로 표현합니다.

### 3.2 주요 토큰화 알고리즘

*   **WordPiece**: Google의 BERT 모델에서 사용된 방식으로, 빈도가 낮은 단어를 더 작은 단위로 분할합니다.
*   **Byte-Pair Encoding (BPE)**: OpenAI의 GPT 시리즈에서 주로 사용되며, 가장 빈번하게 함께 나타나는 문자 쌍을 병합하여 토큰을 생성합니다.
*   **Unigram Language Model**: 확률적 접근법을 사용하여 최적의 토큰 집합을 학습합니다.

### 3.3 토큰과 단어의 차이

일반적으로 한 단어는 여러 토큰으로 나뉠 수 있습니다. 예를 들어, 영어 단어 "unhappiness"는 BPE 기반 모델에서 `un`, `happi`, `ness` 등으로 분할될 수 있습니다. 한국어의 경우, 띄어쓰기가 명확하지 않거나 복합어가 많아 서브워드 토큰화가 특히 중요합니다.

## 4. 토큰의 중요성과 한계

### 4.1 컨텍스트 윈도우(Context Window)

대규모 언어 모델은 한 번에 처리할 수 있는 토큰의 최대 개수를 **컨텍스트 윈도우**라고 합니다. 이 제한은 모델이 기억할 수 있는 정보의 양을 결정합니다. 토큰화가 효율적일수록 더 긴 문맥을 한 번에 처리할 수 있어 모델의 성능이 향상됩니다.

### 4.2 토큰화 오류의 영향

부적절한 토큰화는 모델의 이해도를 저해할 수 있습니다.
*   **과분할(Over-segmentation)**: 의미 있는 단위가 너무 작게 나뉘어 문맥 정보가 손실될 수 있습니다.
*   **과합병(Under-segmentation)**: 관련 없는 단위가 하나로 합쳐져 모호성이 증가할 수 있습니다.

## 5. 관련 기술 및 참고 자료

토큰화는 컴파일러 설계, 자연어 처리, 음성 인식 등 다양한 컴퓨터 과학 분야에서 핵심적인 전처리 기술입니다. 최근 생성형 AI의 발전과 함께 토큰화 알고리즘의 효율성과 정확성은 모델의 성능을 좌우하는 중요한 연구 주제입니다.

*   **렉싱(Lexing)**: 소스 코드를 토큰으로 분할하는 과정
*   **파싱(Parsing)**: 토큰을 문법적 구조로 분석하는 과정
*   **임베딩(Embedding)**: 토큰을 수치 벡터로 변환하는 과정
*   **어휘 집합(Vocabulary)**: 모델이 인식하는 모든 토큰의 집합

토큰에 대한 더 깊은 이해를 위해서는 컴파일러 원리(Compiler Construction)와 자연어 처리 입문 서적을 참고하는 것이 도움이 됩니다.