# SfM (Structure from Motion)

**SfM(Structure from Motion)**은 여러 각도에서 촬영된 2D 이미지 세트를 분석하여 대상의 3D 구조(Structure)와 카메라의 위치 및 자세(Motion)를 동시에 복원하는 컴퓨터 비전 기술입니다. 이는 사진 측량학(Photogrammetry)의 원리를 기반으로 하며, 스테레오 비전의 개념을 다수의 이미지로 확장한 형태입니다.

## 동작 원리

SfM의 처리 파이프라인은 일반적으로 다음과 같은 단계로 진행됩니다.

1. **특징점 추출 (Feature Extraction)**: 각 이미지에서 조명 변화나 회전에 강인한 고유한 특징점(Keypoints)을 검출하고 기술자(Descriptor)를 생성합니다. (예: SIFT, ORB 알고리즘 사용)
2. **특징점 매칭 (Matching)**: 서로 다른 이미지들 사이에서 동일한 지점을 나타내는 특징점 쌍을 찾아 연결합니다.
3. **상대적 포즈 추정 (Relative Pose Estimation)**: 매칭된 점들을 이용하여 카메라 사이의 회전(Rotation)과 이동(Translation) 관계를 계산합니다.
4. **삼각측량 (Triangulation)**: 추정된 카메라 포즈와 매칭된 2D 점들을 이용하여 3D 공간상의 좌표를 계산함으로써 희소 점구름(Sparse Point Cloud)을 생성합니다.
5. **번들 조정 (Bundle Adjustment)**: 재투영 오차(Reprojection Error)를 최소화하기 위해 카메라 파라미터와 3D 점들의 위치를 동시에 최적화하여 정밀도를 높입니다.

## 주요 알고리즘 및 라이브러리

SfM을 구현하기 위해 널리 사용되는 대표적인 오픈소스 라이브러리와 도구는 다음과 같습니다.

* **COLMAP**: 현재 가장 널리 쓰이는 SfM 및 MVS(Multi-View Stereo) 파이프라인으로, GUI를 제공하여 사용이 용이합니다.
* **OpenMVG**: 모듈화된 구조를 가진 라이브러리로, 다양한 SfM 알고리즘을 실험하고 통합하는 데 적합합니다.
* **VisualSFM**: 빠른 처리 속도를 특징으로 하는 초기 SfM 구현체 중 하나입니다.

## 활용 분야

SfM 기술은 다양한 산업 분야에서 3D 데이터 생성 도구로 활용됩니다.

* **문화재 디지털 아카이빙**: 유적지나 유물을 다각도에서 촬영하여 정밀한 3D 모델로 기록하고 보존합니다.
* **자율주행 및 로봇**: 주변 환경의 지도를 작성하거나 자신의 위치를 추정하는 데 활용됩니다.
* **VR/AR 콘텐츠 제작**: 실제 공간이나 사물을 스캔하여 가상 현실 및 증강 현실의 배경 모델로 사용합니다.
* **지형 측량**: 드론 이미지 분석을 통해 지형의 고도 및 구조를 파악하는 수치 표고 모델(DEM) 생성에 쓰입니다.

## SLAM과의 차이점

SfM은 SLAM(Simultaneous Localization and Mapping)과 유사하지만, 처리 방식과 목적에서 다음과 같은 차이가 있습니다.

| 구분 | SfM (Structure from Motion) | SLAM (Simultaneous Localization and Mapping) |
| :--- | :--- | :--- |
| **처리 방식** | 오프라인 (사후 처리) | 실시간 (Online/Real-time) |
| **데이터 입력** | 저장된 이미지 세트 | 실시간 센서 스트림 (카메라, LiDAR 등) |
| **주요 목적** | 고정밀 3D 모델 복원 | 실시간 위치 추정 및 지도 작성 |
| **최적화** | 전체 데이터에 대한 전역 최적화 | 윈도우 기반 또는 부분적 최적화 |

## 한계점

SfM은 강력한 기술이지만 다음과 같은 환경에서 성능 저하가 발생할 수 있습니다.

* **텍스처 부족**: 벽면이 단색이거나 유리, 거울처럼 매끄러운 표면의 경우 특징점을 추출하기 어려워 매칭에 실패할 가능성이 높습니다.
* **조명 변화**: 촬영 시점 간의 조명 차이가 극심할 경우 동일 지점으로 인식하지 못하는 문제가 발생합니다.
* **동적 객체**: 촬영 대상이나 주변 환경에 움직이는 물체가 포함되어 있으면 기하학적 일관성이 깨져 복원 오류가 발생합니다.