ResNet

AI
qwen-3-235b-a22b
작성자
익명
작성일
2025.07.30
조회수
None
버전
v1

ResNet

개요

ResNet(Residual Network)는 2015년 Kaiming He 등이 발표한 딥러닝 아키텍처로, 깊은 신경망에서 발생하는 Vanishing Gradient 문제를 해결하기 위해 잔차 학습(residual learning) 프레임워크를 제안한 모델입니다. 이 모델은 ImageNet 대회(ILSVRC 2015)에서 1위를 차지했으며, 이후 컴퓨터 비전 분야에서 표준적인 구조로 자리잡았습니다.


핵심 개념

잔차 학습(residual learning)

기존의 딥러닝 모델은 네트워크 깊이가 증가할수록 기울기 소실(vanishing gradient)로 인해 학습이 어려워졌습니다. ResNet은 이 문제를 잔차 함수(residual function)를 통해 해결했습니다. 일반적인 뉴럴 네트워크가 직접 목표 함수 $ H(x) $를 학습하는 반면, ResNet은 잔차 함수 $ F(x) = H(x) - x $를 학습합니다.

수식 표현: $$ y = F(x, \{W_i\}) + x $$ 여기서 $ F(x) $는 여러 레이어를 거치는 비선형 변환, $ x $는 입력값, $ y $는 출력값입니다. 이 구조는 Skip Connection(건너뛰기 연결)을 통해 그래디언트가 직접 뒤로 전달되도록 합니다.

잔차 블록(residual block)

ResNet의 기본 단위는 잔차 블록입니다. 다음은 2D 이미지 처리에 사용되는 기본 블록 구조입니다:

Input → Conv2D(3x3) → BatchNorm → ReLU → Conv2D(3x3) → BatchNorm → Add → ReLU → Output
     ↖_________________________ Skip Connection ___________________________↙

  • BatchNorm: 내부 공변량 이동을 방지해 학습 안정성 향상
  • ReLU: 비선형성 도입
  • Skip Connection: 입력값을 직접 출력에 더하는 구조

아키텍처 세부 사항

ResNet 변형

ResNet은 다양한 깊이의 버전이 존재합니다: | 모델명 | 층 수 | 블록 구조 | 특징 | |------------|-------|--------------------------|-------------------------------| | ResNet-18 | 18 | 8개 기본 블록 | 경량형 모델 | | ResNet-34 | 34 | 16개 기본 블록 | 중간 규모 성능 | | ResNet-50 | 50 | 16개 병목 블록(Bottleneck)| 1x1 컨볼루션으로 차원 축소 | | ResNet-101 | 101 | 33개 병목 블록 | 더 깊은 네트워크 | | ResNet-152 | 152 | 50개 병목 블록 | 최대 깊이 모델 |

병목 블록(Bottleneck Block):

Input → Conv2D(1x1) → Conv2D(3x3) → Conv2D(1x1) → Add → Output
- 1x1 컨볼루션으로 차원 축소 → 연산 효율성 향상

전처리 및 구현

  • 입력 전처리: ImageNet 데이터셋의 경우, 평균 [0.485, 0.456, 0.406], 표준편차 [0.229, 0.224, 0.225]로 정규화
  • 활성화 함수: ReLU 사용
  • 최적화: SGD + Momentum(0.9) 또는 Adam optimizer

응용 분야와 영향

주요 성과

  • ImageNet 분류: Top-5 정확도 96.4% 달성
  • COCO 객체 감지: AP(평균 정밀도) 59.0% 기록
  • 의료 영상 분석: 종양 감지, 안저 영상 진단 등

확장 응용

  1. 3D ResNet: 비디오 분류, 볼륨 데이터 처리
  2. Wide ResNet: 네트워크 너비 증가로 성능 개선
  3. ResNeXt: 분할된 컨볼루션을 통한 병렬 처리

장점과 한계

장점

  • 깊이 확장성: Skip Connection으로 1000층 이상 네트워크 학습 가능
  • 학습 효율성: 그래디언트 소실 문제 완화
  • 파라미터 효율성: 병목 블록 사용 시 연산량 감소

한계

  • 계산 비용: ResNet-152는 11.3G FLOPs로 실시간 처리 어려움
  • 과적합 가능성: 소규모 데이터셋에서는 드롭아웃 필요
  • 최신 모델 대비: Vision Transformer(ViT) 등이 더 나은 성능 제시

참고 자료

  1. He, K. et al. (2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385
  2. He, K. et al. (2016). Identity Mappings in Deep Residual Networks. arX:1603.05027
  3. TorchVision ResNet Implementation

관련 문서

이 문서는 2023년 10월 기준 최신 연구를 반영하며, 실제 구현 시 프레임워크별 세부 구현 차이를 고려해야 합니다.

AI 생성 콘텐츠 안내

이 문서는 AI 모델(qwen-3-235b-a22b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

이 AI 생성 콘텐츠가 도움이 되었나요?