# 시맨틱 검색 (Semantic Search)

## 1. 개요
시맨틱 검색(Semantic Search)이란 사용자가 입력한 검색어의 단순한 문자열 일치 여부를 넘어, 단어의 내포된 의미(Semantics), 사용자의 의도(Intent) 및 문맥(Context)을 분석하여 가장 관련성이 높은 결과를 도출하는 검색 기술이다.

기존의 **키워드 기반 검색([[Lexical Search]])**이 문서 내에 특정 단어가 포함되어 있는지를 확인하는 '형태소 일치' 방식이었다면, 시맨틱 검색은 자연어 처리(NLP) 기술을 활용해 쿼리와 문서 사이의 '의미적 유사성'을 계산한다. 이를 통해 사용자가 정확한 용어를 모르더라도 유사한 개념의 단어를 사용했을 때 적절한 결과를 찾아낼 수 있다.

## 2. 작동 원리 및 핵심 기술
시맨틱 검색의 핵심은 텍스트라는 비정형 데이터를 컴퓨터가 계산 가능한 수치 형태로 변환하는 것이다.

### 2.1 임베딩(Embedding)과 밀집 벡터(Dense Vector)
텍스트를 고차원 공간상의 좌표로 변환하는 과정을 **임베딩**이라고 한다. 이때 생성되는 **밀집 벡터(Dense Vector)**는 수백에서 수천 차원의 실수 배열로 구성되며, 의미가 유사한 단어나 문장은 벡터 공간상에서 서로 가까운 거리에 위치하게 된다.

### 2.2 유사도 계산 (Similarity Measurement)
두 벡터 사이의 거리를 측정하여 유사도를 판별한다. 대표적인 방법은 다음과 같다.
*   **코사인 유사도(Cosine Similarity):** 두 벡터가 이루는 각도의 코사인 값을 계산하여 1에 가까울수록 의미적으로 유사하다고 판단한다. 방향성에 집중하는 지표이다.
*   **유클리드 거리(Euclidean Distance):** 벡터 공간에서 두 점 사이의 직선 거리를 측정한다. 값이 작을수록 유사하며, 벡터의 크기(Magnitude)가 중요할 때 사용한다.
*   **내적(Dot Product):** 두 벡터의 성분별 곱의 합을 계산한다. 벡터의 방향과 크기를 모두 반영하며, 학습된 임베딩 모델의 특성에 따라 자주 사용된다.

### 2.3 키워드 검색 vs 시맨틱 검색 비교

| 구분 | 키워드 검색 (Lexical Search) | 시맨틱 검색 (Semantic Search) |
| :--- | :--- | :--- |
| **매칭 방식** | 정확한 단어 일치 (Exact Match) | 의미적 유사성 (Semantic Similarity) |
| **핵심 기술** | [[TF-IDF]], [[BM25]], 역색인(Inverted Index) | 임베딩, 벡터 공간, [[LLM]], [[Transformer]] |
| **장점** | 처리 속도가 매우 빠름, 고유명사 검색에 강함 | 문맥 이해 가능, 동의어/유의어 처리 가능 |
| **단점** | 동의어 처리 불가, 검색어 의도 파악 어려움 | 높은 계산 비용, 모델 의존성, 결과 해석 어려움 |

## 3. 주요 구성 요소 및 아키텍처

### 3.1 기술 스택
*   **임베딩 모델:** 텍스트를 벡터로 변환하는 엔진이다. 
    *   **Bi-Encoder:** 쿼리와 문서를 각각 독립적으로 임베딩하여 빠르게 비교하는 구조이다. [[SBERT]](Sentence-BERT)가 대표적이며, 대규모 문서 집합에서 효율적인 검색을 가능하게 한다.
    *   **LLM 기반 모델:** [[BERT]] 계열의 모델이나 OpenAI의 `text-embedding-3`와 같은 모델이 주로 사용된다.
*   **벡터 데이터베이스(Vector DB):** 고차원 벡터 데이터를 효율적으로 저장하고 빠르게 검색하기 위한 특수 DB이다. (예: Milvus, Pinecone, FAISS, Weaviate)

### 3.2 전체 데이터 흐름도 (Data Flow)
시맨틱 검색 시스템의 데이터 흐름은 크게 '인덱싱 단계'와 '쿼리 단계'로 나뉜다.

```mermaid
graph TD
    subgraph "Indexing Phase (사전 준비)"
        A[Raw Documents] --> B[Embedding Model]
        B --> C[Dense Vectors]
        C --> D[Vector Database Indexing]
    end
    
    subgraph "Query Phase (실시간 검색)"
        E[User Query] --> F[Embedding Model]
        F --> G[Query Vector]
        G --> H[Vector Similarity Search]
        D --> H
        H --> I[Top-K Relevant Results]
    end
```

## 4. 벡터 DB의 인덱싱 알고리즘
수백만 개의 벡터 중에서 가장 유사한 벡터를 실시간으로 찾는 것은 계산 비용이 매우 크다. 이를 해결하기 위해 **근사 최근접 이웃(ANN, Approximate Nearest Neighbor)** 알고리즘을 사용한다.

*   **HNSW (Hierarchical Navigable Small World):** 데이터를 계층적인 그래프 구조로 연결하여, 상위 계층에서 빠르게 범위를 좁히고 하위 계층에서 정밀하게 검색하는 방식이다. 현재 가장 널리 쓰이는 고성능 알고리즘이다.
*   **IVF (Inverted File Index):** 벡터 공간을 여러 개의 클러스터(Cluster)로 나누고, 쿼리 벡터가 속한 클러스터와 인접 클러스터 내에서만 검색하여 탐색 범위를 획기적으로 줄이는 방식이다.
*   **PQ (Product Quantization):** 고차원 벡터를 작은 부분 벡터로 쪼개어 압축 저장함으로써 메모리 사용량을 줄이고 계산 속도를 높이는 양자화 기법이다.

## 5. 검색 성능 향상 및 평가

### 5.1 하이브리드 검색 (Hybrid Search)
벡터 검색은 문맥 이해도는 높지만, 제품 번호나 고유 명사 같은 '정확한 키워드' 매칭에는 취약하다. 이를 보완하기 위해 **[[BM25]](키워드 검색) + 벡터 검색** 결과를 결합하고, **RRF(Reciprocal Rank Fusion)** 알고리즘으로 최종 순위를 재조정하는 하이브리드 방식을 채택한다.

### 5.2 리랭킹 (Re-ranking)
1차적으로 Bi-Encoder 기반의 벡터 DB에서 빠르게 수백 개의 후보군을 뽑아낸 뒤, 더 무겁고 정교한 **Cross-Encoder 모델**을 사용하여 쿼리와 문서의 관련성을 다시 정밀하게 계산해 상위 결과를 재배치하는 과정이다.

### 5.3 검색 성능 평가 (Evaluation Metrics)
시맨틱 검색의 품질을 측정하기 위해 다음과 같은 지표를 사용한다.
*   **Recall@K:** 상위 K개의 결과 중에 실제 정답 문서가 포함되어 있는 비율을 측정한다.
*   **MRR (Mean Reciprocal Rank):** 첫 번째 정답 문서가 얼마나 상위에 노출되었는지를 측정한다.
*   **nDCG (normalized Discounted Cumulative Gain):** 정답의 관련도(Relevance) 점수를 고려하여, 관련도가 높은 문서가 상위에 올수록 높은 점수를 부여한다.

### 5.4 [[RAG]](Retrieval-Augmented Generation) 연계
시맨틱 검색은 [[RAG]] 구조의 핵심 엔진으로 활용된다. LLM이 학습하지 않은 최신 데이터나 기업 내부의 비공개 데이터를 시맨틱 검색으로 찾아내어 프롬프트에 함께 제공함으로써, 모델이 근거 기반의 정확한 답변을 생성하게 한다. 이는 LLM의 고질적인 문제인 할루시네이션을 억제하고 답변의 신뢰성을 높이는 역할을 한다.

## 6. 활용 사례 및 쿼리 비교 예시

### 6.1 쿼리-결과 비교 사례
사용자가 **"잠잘 때 쓰기 좋은 편안한 신발"**이라고 검색했을 때의 결과 차이는 다음과 같다.

| 검색 방식 | 검색 결과 (예시) | 분석 |
| :--- | :--- | :--- |
| **키워드 검색** | "잠잘 때 주의사항", "편안한 운동화" | [잠잘 때]와 [편안한 신발]이 모두 포함된 문서가 없으면 결과가 누락되거나 엉뚱한 문서가 나옴 |
| **시맨틱 검색** | "기능성 슬리퍼", "수면 양말", "편안한 홈웨어 슈즈" | [잠잘 때] $\rightarrow$ [실내/수면], [편안한 신발] $\rightarrow$ [슬리퍼/홈슈즈]라는 의미적 연관성을 파악하여 결과 도출 |

### 6.2 적용 분야
*   **전자상거래:** "여름에 입기 시원한 옷" $\rightarrow$ 린넨 소재, 반팔, 쿨링 웨어 추천.
*   **기업 지식 베이스:** 사내 규정집에서 "휴가 신청 어떻게 해?" $\rightarrow$ '연차 신청 프로세스' 문서 탐색.
*   **다국어 교차 검색:** 한국어로 검색해도 영어로 작성된 논문 중 의미가 일치하는 내용을 찾아내는 Cross-lingual Search.
*   **법률/의료 문서 검색:** 전문 용어가 다양하게 쓰이는 분야에서 "심근경색 증상" 검색 시 "흉통", "심장마비" 등 유사 의미를 가진 전문 문서를 통합 검색.
*   **추천 시스템:** 사용자가 읽은 문서의 벡터와 유사한 벡터를 가진 다른 콘텐츠를 추천하는 '콘텐츠 기반 필터링'에 활용.

## 7. 한계점 및 향후 전망

### 7.1 한계점
*   **계산 비용 및 지연 시간(Latency):** 임베딩 생성과 고차원 벡터 연산은 CPU/GPU 자원을 많이 소모하며, 데이터 양이 증가할수록 인덱싱 비용이 상승한다.
*   **블랙박스 특성:** 왜 특정 결과가 상위에 노출되었는지에 대한 논리적 설명(Explainability)이 키워드 검색에 비해 어렵다.
*   **검색 정확도 및 노이즈 문제:** 의미적으로는 유사하지만 실제 정답과는 거리가 먼 문서가 검색될 수 있다. 이러한 '부적절한 문서의 검색(Irrelevant Retrieval)'은 [[RAG]]와 결합했을 때 LLM이 잘못된 정보를 생성하는 할루시네이션(Hallucination)의 원인이 된다.

### 7.2 향후 전망
앞으로는 단순한 벡터 유사도를 넘어, 사용자의 과거 행동 패턴과 실시간 상황을 반영하는 **개인화된 문맥 이해(Personalized Context)** 모델로 진화할 것이다. 또한, 실시간으로 업데이트되는 데이터를 즉각적으로 반영하는 **실시간 인덱싱 최적화** 기술과 연산 효율을 극대화한 경량화 임베딩 모델의 도입이 가속화될 것으로 보인다.