# Adversarial Examples (적대적 예시)

## 개요

**적대적 예시(Adversarial Examples)**란 인공 신경망(Artificial Neural Networks)과 같은 머신러닝 모델의 예측을 의도적으로 오도하기 위해 인간이 인지하기 어려운 미세한 노이즈(noise)를 입력 데이터에 추가한 샘플을 의미합니다. 이 개념은 2013년 Ian Goodfellow 등이 제안한 이후 딥러닝 모델의 취약점을 드러내는 중요한 연구 분야로 부상했습니다.

적대적 예시는 모델이 높은 정확도를 보임에도 불구하고, 사소한 변화로 인해 완전히 다른 결과를 출력하는 현상을 보여줍니다. 예를 들어, 고양이 이미지를 분류하는 모델에 미세한 노이즈를 추가하면, 모델은 여전히 그 이미지를 '고양이'로 인식할 수 있지만, 다른 노이즈 패턴을 추가하면 '침팬지'나 '자동차'로 오인할 수 있습니다. 이는 인공지능 시스템의 신뢰성과 안전성을 확보하는 데 있어 가장 큰 장애물 중 하나로 꼽힙니다.

## 핵심 개념 및 작동 원리

### 1. 인간의 인지 한계와 모델의 취약점
적대적 예시의 가장 놀라운 점은 이러한 노이즈가 **인간의 시각적 인지에는 거의 영향을 미치지 않는다**는 것입니다. 인간은 원본 이미지와 적대적 예시 이미지를 구별할 수 없지만, 머신러닝 모델은 이 미세한 차이를 결정적인 오차로 처리합니다. 이는 현재 대부분의 딥러닝 모델이 데이터의 고차원 공간에서 국소적인 패턴에 과도하게 의존하기 때문으로 분석됩니다.

### 2. 공격 방식의 분류
적대적 예시는 생성 목적과 정보 접근성에 따라 다음과 같이 분류됩니다.

*   **White-box Attack (화이트박스 공격):** 공격자가 대상 모델의 구조, 가중치, 학습 데이터 등에 대한 완전한 정보를 가지고 있는 경우입니다. 가장 대표적인 알고리즘으로 **FGSM(Fast Gradient Sign Method)**과 **PGD(Projected Gradient Descent)**가 있습니다. FGSM은 손실 함수의 기울기(gradient)를 이용해 한 번의 단계로 노이즈를 생성하는 빠른 방법이며, PGD는 여러 번의 반복을 통해 더 강력하고 정교한 공격을 수행합니다.
*   **Black-box Attack (블랙박스 공격):** 공격자가 모델의 내부 구조를 알지 못하지만, 입력값과 출력값의 쌍을 통해 모델의 반응을 관찰할 수 있는 경우입니다. 이 경우 공격자는 대상 모델의 예측 결과를 기반으로 근사 모델을 학습하거나, 무작위 탐색을 통해 적대적 예시를 생성합니다.

### 3. 주요 알고리즘 예시

#### FGSM (Fast Gradient Sign Method)
FGSM은 계산 효율성이 높아 실시간 공격에 유용합니다. 수식으로는 다음과 같이 표현됩니다.

$$ x_{adv} = x + \epsilon \cdot \text{sign}(\nabla_x J(\theta, x, y)) $$

여기서 $x$는 원본 입력, $\epsilon$은 노이즈의 크기, $J$는 손실 함수, $\theta$는 모델 파라미터, $y$는 정답 레이블입니다.

## 보안 및 안정성에 미치는 영향

### 1. 자율 주행 자동차의 위험
자율 주행 시스템은 도로 위의 신호등, 보행자, 장애물을 실시간으로 인식해야 합니다. 적대적 예시가 적용된 경우, 정지 신호를 '속도 제한' 표지로 오인하거나, 보행자를 '빈 공간'으로 인식할 수 있어 치명적인 사고로 이어질 수 있습니다.

### 2. 생체 인증 시스템의 우회
얼굴 인식이나 지문 인식 시스템도 적대적 공격에 취약할 수 있습니다. 예를 들어, 얼굴 인식 시스템에 미세한 노이즈가 포함된 안경을 착용하거나, 지문 패턴에 특수한 코팅을 함으로써 시스템의 인식을 우회할 수 있습니다.

### 3. 악성 코드 탐지의 회피
악성 코드를 탐지하는 안티바이러스 소프트웨어나 침입 탐지 시스템(IDS)도 머신러닝을 활용합니다. 공격자는 악성 코드의 일부를 미세하게 수정하여 탐지 모델을 속이고, 정상적인 파일로 분류되도록 할 수 있습니다.

## 방어 전략 및 완화 방법

적대적 예시에 대한 대응은 현재 활발히 연구 중인 분야이며, 주요 방어 전략은 다음과 같습니다.

1.  **적대적 훈련(Adversarial Training):** 모델 학습 과정에 적대적 예시를 포함시켜 학습시키는 방법입니다. 이는 모델이 적대적 노이즈에 대해 강건하게(robus) 학습하도록 유도하는 가장 효과적인 방법 중 하나로 평가받습니다.
2.  **입력 전처리(Input Preprocessing):** 입력 데이터에 대한 압축, 무작위 잡음 추가, 또는 차원 축소 등을 통해 적대적 노이즈의 영향을 줄이는 방법입니다.
3.  **검증 가능한 방어(Verified Defenses):** 수학적 증명을 통해 특정 범위 내의 노이즈에 대해 모델의 예측이 변하지 않음을 보장하는 방법입니다. 그러나 계산 비용이 매우 높아 실용화에 제약이 있습니다.
4.  **이상 감지(Anomaly Detection):** 입력 데이터가 학습 데이터 분포와 얼마나 다른지를 측정하여, 적대적 예시로 의심되는 입력을 차단하는 방법입니다.

## 결론 및 향후 전망

적대적 예시는 인공지능이 단순한 패턴 매칭을 넘어 진정한 '이해'를 갖추기 위해 해결해야 할 근본적인 과제입니다. 현재까지의 방어 기술은 특정 공격에 대해서는 효과적이지만, 새로운 공격 기법에 대해서는 지속적으로 취약점이 발견되고 있습니다.

향후 인공지능의 안전성을 확보하기 위해서는 단일 모델의 성능 향상뿐만 아니라, **해석 가능성(Explainability)**과 **강건성(Robustness)**을 동시에 고려한 새로운 아키텍처와 학습 패러다임의 개발이 필수적입니다. 또한, 인공지능을 실제 사회 인프라에 적용할 때는 적대적 공격에 대한 감시 및 대응 체계를 표준화하는 것이 중요합니다.

## 관련 문서 및 참고 자료

*   [Deep Learning](https://ko.wikipedia.org/wiki/%EB%8D%B0%ED%94%84_%EB%9F%AC%EB%8B%9D)
*   [Machine Learning Security](https://en.wikipedia.org/wiki/Machine_learning_security)
*   Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). *Explaining and Harnessing Adversarial Examples*. arXiv preprint arXiv:1412.6572.
*   Papernot, N., et al. (2016). *The Limitations of Deep Learning in Adversarial Settings*. IEEE European Symposium on Security and Privacy.