스테레오 시차

AI
gemma-4-31b
작성자
익명
작성일
2026.07.19
조회수
5
버전
v1
기술 → 컴퓨터비전 → 특징 추출
스테레오 시차 컴퓨터 비전 에피폴라 기하학 시차 맵 깊이 추정 이미지 보정 SGM 자율주행 중급

스테레오 시차 (Stereo Disparity)

스테레오 시차(Stereo Disparity)란 두 개의 서로 다른 시점에서 촬영된 이미지 쌍에서 동일한 객체가 나타나는 위치의 픽셀 좌표 차이를 의미하며, 이를 통해 3차원 공간상의 깊이(Depth) 정보를 복원하는 컴퓨터 비전의 핵심 개념이다.

1. 개요

인간은 두 눈이 일정 거리 떨어져 있어 왼쪽 눈과 오른쪽 눈이 보는 영상에 미세한 차이가 발생하는데, 이를 양안 시차(Binocular Disparity)라고 한다. 뇌는 이 두 영상의 차이를 분석하여 물체가 얼마나 멀리 있는지 판단하는 깊이 지각(Depth Perception) 능력을 갖추고 있다.

컴퓨터 비전의 스테레오 비전(Stereo Vision)은 이 원리를 모사하여, 두 대의 카메라(Stereo Camera)를 사용하여 획득한 이미지에서 시차를 계산함으로써 2차원 이미지로부터 3차원 공간 정보를 추출한다.

2. 에피폴라 기하학 (Epipolar Geometry)

시차를 계산하기 전, 두 이미지 사이의 기하학적 관계를 정의하는 것이 에피폴라 기하학이다. 이는 3차원 공간의 한 점과 두 카메라의 중심점이 이루는 삼각형 구조를 분석하는 이론이다.

  • 에피폴 (Epipole): 한 카메라의 중심점에서 다른 카메라의 중심점으로 뻗은 직선이 이미지 평면과 만나는 점.
  • 에피폴라 라인 (Epipolar Line): 3차원 공간의 한 점이 이미지 평면에 투영될 때, 다른 이미지에서 해당 점이 존재할 수 있는 직선 경로.
  • 에피폴라 제약 (Epipolar Constraint): 왼쪽 이미지의 한 픽셀에 대응하는 점은 오른쪽 이미지의 전체 영역이 아닌, 특정 '에피폴라 라인' 위에만 존재한다는 제약 조건이다. 이를 통해 탐색 범위를 2차원 평면에서 1차원 직선으로 줄여 연산 효율을 극대화한다.

3. 작동 원리 및 수학적 모델

스테레오 시차는 카메라의 기하학적 배치에 따라 결정된다. 두 카메라가 평행하게 배치되었다고 가정할 때, 시차와 깊이의 관계는 다음과 같은 수학적 모델로 설명된다.

3.1 수학적 수식

깊이 $Z$는 기선 거리와 초점 거리의 곱을 시차로 나눈 값과 같다.

$$Z = \frac{f \cdot B}{d}$$

  • $Z$: 대상 물체까지의 거리 (Depth)
  • $f$: 카메라의 초점 거리 (Focal Length)
  • $B$: 두 카메라 중심 사이의 거리 (Baseline)
  • $d$: 시차 (Disparity, $x_{left} - x_{right}$)
    • $x_{left}, x_{right}$: 이미지 평면의 주점(Principal Point)을 기준으로 한 동일 객체의 가로 픽셀 좌표

3.2 변수 정의 및 관계

변수 명칭 설명 깊이($Z$)와의 관계
$f$ 초점 거리 렌즈 중심에서 이미지 센서까지의 거리 비례 ($\uparrow \Rightarrow \uparrow$)
$B$ 기선 거리 두 카메라 렌즈 사이의 물리적 거리 비례 ($\uparrow \Rightarrow \uparrow$)
$d$ 시차 좌우 이미지 내 동일 지점의 픽셀 좌표 차이 반비례 ($\uparrow \Rightarrow \downarrow$)

핵심 원리: 물체가 카메라에 가까울수록 시차($d$)는 커지며, 물체가 멀어질수록 시차는 0에 수렴한다.

4. 시차 맵(Disparity Map) 생성 과정

시차 맵은 이미지의 모든 픽셀에 대해 계산된 시차 값을 밝기나 색상으로 표현한 이미지이다. 생성 과정은 일반적으로 다음과 같은 파이프라인을 따른다.

4.1 생성 단계

  1. 이미지 보정 (Rectification): [카메라 캘리브레이션] 과정을 통해 얻은 내부/외부 파라미터를 이용하여 두 이미지의 에피폴라 라인을 수평으로 일치시키는 과정이다. 이를 통해 대응점 탐색을 단순한 수평 스캔(Horizontal Scan)으로 변환한다.
  2. 비용 계산 (Cost Computation): 왼쪽 이미지의 윈도우(Window)와 오른쪽 이미지의 후보 윈도우 간의 유사도를 측정한다.
    • SAD (Sum of Absolute Differences): 픽셀 값 차이의 절대값 합을 계산. 수식이 단순하여 연산 속도가 매우 빠름. $$\text{SAD} = \sum_{i,j} |I_{left}(x+i, y+j) - I_{right}(x+i-d, y+j)|$$
    • NCC (Normalized Cross-Correlation): 픽셀 값의 상관관계를 정규화하여 계산. 조명 변화에 강인함. $$\text{NCC} = \frac{\sum (I_{left} - \bar{I}_{left})(I_{right} - \bar{I}_{right})}{\sqrt{\sum (I_{left} - \bar{I}_{left})^2 \sum (I_{right} - \bar{I}_{right})^2}}$$
  3. 최적화 (Optimization): 계산된 비용 중 가장 낮은 값을 선택하거나, 주변 픽셀과의 연속성을 고려하여 전역 최적값(Global Optimum)을 찾는다.
  4. 후처리 (Post-processing): 노이즈 제거 및 가려짐 영역을 보간하여 최종 시차 맵을 완성한다.

4.2 이미지 보정(Rectification) 도식도

[ 보정 전 (Unrectified) ]          [ 보정 후 (Rectified) ]
Left:  (점 A)                      Left:  (점 A) -----------------
               \                                            (수평선)
Right:    (점 A')                      Right: (점 A') --------------
(대응점이 서로 다른 높이에 존재)       (대응점이 동일한 수평선상에 존재)

4.3 시차 맵 결과 예시 (개념도)

[ 원본 이미지 ]       [ 시차 맵 (Disparity Map) ]
+-------------+      +-------------+
|    (물체)    |  -->  |    (밝음)    |  <-- 가까운 물체 (High Disparity)
|             |      |             |
|    (배경)    |      |    (어두움)    |  <-- 먼 배경 (Low Disparity)
+-------------+      +-------------+
(실제 시차 맵에서는 가까운 물체일수록 흰색/밝은색으로, 먼 배경일수록 검은색/어두운색으로 표현된다.)

5. 주요 시차 계산 알고리즘

시차 계산 방식은 단순한 픽셀 비교에서부터 복잡한 신경망 구조까지 다양하게 발전해 왔다.

알고리즘 분류 주요 특징 장점 단점 연산 속도 정확도
Block Matching (BM) 고정 크기 윈도우의 픽셀 값 비교 매우 빠름, 구현 단순 노이즈에 취약, 경계면 부정확 매우 빠름 낮음
Semi-Global Matching (SGM) 여러 경로의 1D 비용 합산 최적화 경계 보존 능력이 좋음 메모리 사용량 증가 보통 높음
Deep Learning 기반 CNN/Transformer 기반 특징 추출 및 비용 볼륨 최적화 텍스처 없는 영역에서도 강함, 고정밀 추론 가능 대량의 학습 데이터 필요, 모델 최적화 필요 실시간 처리 위해 고성능 GPU 필수 매우 높음

6. 주요 활용 분야 및 응용

스테레오 시차를 통해 얻은 깊이 정보는 다양한 산업 분야의 핵심 기술로 활용된다.

  • 자율주행 자동차: LiDAR 센서의 보조 수단으로, 전방 장애물과의 거리를 실시간으로 측정하여 충돌을 방지하고 차선을 인식한다.
  • 3D 스캐닝 및 복원: 실물 객체를 여러 각도에서 촬영하여 정밀한 3D 모델(Mesh)을 생성하는 역설계(Reverse Engineering)에 활용된다.
  • VR/AR 콘텐츠: 사용자의 실제 환경 깊이를 인식하여 가상 객체를 실제 벽 뒤에 배치하는 '오클루전(Occlusion)' 효과를 구현한다.
  • 로봇 비전: 로봇 팔이 물체를 집기 위해 정확한 3차원 좌표를 계산하는 픽킹(Picking) 공정에 사용된다.

7. 한계점 및 해결 방안

스테레오 비전은 기하학적 구조에 의존하므로 다음과 같은 기술적 한계가 존재한다.

7.1 주요 문제점

  • 텍스처 없는 영역 (Textureless Region): 흰 벽이나 단색 배경처럼 특징점이 없는 경우, 좌우 이미지에서 대응점을 찾을 수 없어 시차 계산이 불가능하거나 오차가 발생한다.
  • 가려짐 문제 (Occlusion): 왼쪽 카메라에서는 보이지만 오른쪽 카메라에서는 물체에 가려 보이지 않는 영역이 발생하여 대응점을 찾을 수 없는 '가려진 영역(Occluded Area)'이 생성되며, 이로 인해 매칭이 실패한다.
  • 반사 및 투명체: 거울이나 유리처럼 빛이 반사/투과되는 물체는 가상 이미지(Virtual Image)를 생성하여 잘못된 깊이 값을 산출한다.

7.2 해결 방안

  • 능동형 스테레오 (Active Stereo): 적외선 패턴 프로젝터를 사용하여 강제로 텍스처를 투사함으로써 특징점이 없는 영역의 매칭률을 높인다.
  • 다중 뷰 스테레오 (MVS): 2대가 아닌 3대 이상의 카메라를 사용하여 가려진 영역을 상호 보완한다.
  • 딥러닝 기반 보간: CNN을 이용하여 주변 픽셀의 문맥(Context)을 분석하고, 가려진 영역의 시차 값을 추론하여 채우는 방식을 사용한다. (관련 개념: [[단안 깊이 추정]])
AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

이 AI 생성 콘텐츠가 도움이 되었나요?