DLSS (Deep Learning Super Sampling)
1. 개요
DLSS(Deep Learning Super Sampling)는 NVIDIA가 개발한 딥러닝 기반의 이미지 업스케일링 기술로, 낮은 해상도에서 렌더링된 이미지를 AI를 통해 고해상도로 복원하여 게임의 시각적 품질을 유지하면서 프레임 속도(FPS)를 획기적으로 향상시키는 기술이다.
기본적으로 GPU가 처리해야 할 픽셀 수를 줄여 연산 부하를 낮추고, 그 빈자리를 인공지능이 예측하여 채우는 방식으로 작동한다. 이를 통해 고사양 게임이나 레이 트레이싱(Ray Tracing, 빛의 물리적 행동을 시뮬레이션하여 실사 같은 그래픽을 구현하는 기술) 적용 시 발생하는 성능 저하 문제를 해결하는 것을 핵심 목적으로 한다.
2. 작동 원리 및 기술적 배경
DLSS는 단순한 이미지 확대가 아닌, 훈련된 신경망을 이용한 지능형 복원 과정이다.
2.1 딥러닝 기반 업스케일링
DLSS는 수많은 고해상도 이미지 데이터를 학습한 AI 모델을 사용한다. GPU가 저해상도(예: 1080p)로 프레임을 렌더링하면, DLSS 알고리즘이 이전 프레임의 정보와 모션 벡터(Motion Vector, 픽셀의 이동 방향과 거리 정보)를 분석하여 누락된 픽셀을 생성하고 고해상도(예: 4K) 이미지로 출력한다.
2.2 텐서 코어(Tensor Core)의 역할
이 복잡한 AI 연산을 일반적인 CUDA 코어에서 처리하면 오히려 성능이 하락한다. 따라서 NVIDIA는 RTX 시리즈 GPU에 텐서 코어(Tensor Core)라는 AI 전용 가속기를 탑재했다. 텐서 코어는 행렬 연산에 최적화되어 있어, 실시간으로 딥러닝 추론을 수행하며 지연 시간 없이 업스케일링을 처리할 수 있게 한다.
2.3 전통적 업스케일링과의 비교
| 구분 |
전통적 공간 업스케일링 (Bilinear/Lanczos) |
DLSS (AI 기반 업스케일링) |
| 작동 방식 |
주변 픽셀 값을 단순 보간하여 확대 |
AI 모델이 픽셀 값을 예측하여 생성 |
| 화질 |
외곽선 뭉개짐(Blurry) 및 계단 현상 발생 |
원본 고해상도에 근접한 선명도 유지 |
| 연산 부하 |
매우 낮음 |
텐서 코어를 통한 AI 연산 필요 |
| 시간적 정보 |
단일 프레임만 처리 (Spatial) |
이전 프레임 정보 활용 (Temporal) |
3. 버전별 발전 과정
DLSS는 버전이 올라감에 따라 단순 해상도 복원을 넘어 프레임 생성과 빛의 표현 방식까지 확장되었다.
| 버전 |
주요 추가 기능 |
핵심 특징 |
요구 하드웨어 |
| DLSS 1.0 |
기본 업스케일링 |
초기 AI 복원 기술, 고스트 현상 빈번 |
RTX 20 시리즈 이상 |
| DLSS 2.0 |
Temporal Upscaling |
시간적 데이터 활용으로 화질 대폭 개선 |
RTX 20 시리즈 이상 |
| DLSS 3.0 |
Frame Generation |
AI가 완전히 새로운 프레임을 생성하여 삽입 |
RTX 40 시리즈 전용 |
| DLSS 3.5 |
Ray Reconstruction |
AI 기반 레이 트레이싱 노이즈 제거 및 디테일 강화 |
RTX 20 시리즈 이상 |
- 프레임 생성(Frame Generation): 렌더링된 두 프레임 사이의 중간 프레임을 AI가 생성하여 화면 전환을 더욱 부드럽게 만든다. (RTX 40 시리즈 전용)
- 레이 재구성(Ray Reconstruction): 기존의 수동 디노이저(Denoiser)를 대체하여, AI가 빛의 반사와 굴절을 더 정확하게 계산해 레이 트레이싱 화질을 높인다. (RTX 20 시리즈 이상 지원)
4. 하드웨어 및 소프트웨어 요구사항
4.1 하드웨어 요구사항
DLSS는 NVIDIA의 전용 하드웨어인 텐서 코어가 필수적이다.
- RTX 20 시리즈 (Turing): DLSS 2.0 및 3.5(레이 재구성) 지원
- RTX 30 시리즈 (Ampere): DLSS 2.0 및 3.5(레이 재구성) 지원
- RTX 40 시리즈 (Ada Lovelace): DLSS 2.0, 3.0(프레임 생성), 3.5(레이 재구성) 모두 지원
4.2 소프트웨어 요구사항
- 드라이버: 최신 NVIDIA Game Ready 드라이버 설치 필요
- API 지원: 게임 개발사가 NVIDIA DLSS SDK를 통합하여 게임 엔진(Unreal Engine, Unity 등)에 구현해야 사용 가능하다.
5. DLSS 설정 모드별 차이점
사용자는 게임 내 설정에서 목적에 따라 다음과 같은 프리셋 모드를 선택할 수 있다.
| 모드 |
렌더링 해상도 (4K 기준) |
성능 향상 폭 |
화질 수준 |
추천 용도 |
| 품질 (Quality) |
1440p $\rightarrow$ 4K |
낮음 $\sim$ 중간 |
매우 높음 |
화질 최우선, 고사양 PC |
| 균형 (Balanced) |
1200p $\rightarrow$ 4K |
중간 |
높음 |
성능과 화질의 타협점 |
| 성능 (Performance) |
1080p $\rightarrow$ 4K |
높음 |
보통 |
프레임 확보 우선, 중사양 PC |
| 초고성능 (Ultra Perf.) |
720p $\rightarrow$ 4K |
매우 높음 |
낮음 |
최저 사양, 8K 해상도 환경 |
(참고: 위 표의 $\rightarrow$ 표시는 저해상도 렌더링 후 고해상도로 업스케일링됨을 의미함)
6. 성능 및 화질 분석
6.1 프레임 상승률 (FPS)
DLSS 적용 시 해상도와 모드에 따라 다르지만, 일반적으로 품질 모드에서 1.5배, 성능 모드에서 2배 이상의 프레임 상승을 보인다. 특히 DLSS 3의 프레임 생성 기능을 사용할 경우, 하드웨어 성능에 따라 최대 3~4배까지 프레임이 증가하는 사례가 보고된다.
6.2 시각적 트레이드-오프
- 고스트 현상(Ghosting): 빠르게 움직이는 물체 뒤에 잔상이 남는 현상이다. 이는 AI가 이전 프레임의 정보를 참조하는 과정에서 잘못된 픽셀 데이터를 유지할 때 발생하며, DLSS 1.0에서 매우 심했으나 2.0의 시간적 업스케일링(Temporal Upscaling) 도입 이후 획기적으로 개선되었다.
- 아티팩트(Artifacts): 미세한 픽셀 튀김이나 반짝임 현상이 발생할 수 있으며, 이는 주로 매우 낮은 해상도에서 업스케일링할 때 나타난다.
- 입력 지연(Input Lag) 증가: DLSS 3의 '프레임 생성'은 픽셀을 복원하는 것이 아니라 AI가 새로운 프레임을 생성하여 삽입하는 방식이므로, 실제 입력과 화면 출력 사이에 지연 시간이 발생하는 단점이 있다. 이를 보완하기 위해 NVIDIA는 시스템 지연 시간을 줄여주는 'NVIDIA Reflex' 기술을 필수적으로 함께 도입하여 체감 지연 시간을 최소화하고 있다.
7. 실제 적용 사례 및 벤치마크
7.1 적용 게임 리스트
- 사이버펑크 2077 (Cyberpunk 2077): DLSS 3.5 레이 재구성을 통해 네온사인과 반사 효과의 디테일을 극대화한 대표적 사례.
- 앨런 웨이크 2 (Alan Wake 2): 풀 레이 트레이싱(Path Tracing) 환경에서 DLSS 3 프레임 생성 없이는 원활한 플레이가 불가능할 정도의 고사양 요구치를 DLSS로 해결.
- 포르자 호라이즌 5 (Forza Horizon 5): 고속 주행 중에도 안정적인 프레임 유지와 선명한 배경 묘사 구현.
7.2 최신 버전 벤치마크 데이터 (예시 수치)
환경: RTX 4080 / 4K 해상도 / 사이버펑크 2077 (Overdrive 모드)
| 설정 |
평균 FPS |
체감 성능 향상 |
| Native 4K (DLSS Off) |
18 FPS |
1.0x (기준) |
| DLSS 2 (Quality) |
42 FPS |
약 2.3배 |
| DLSS 3 (Quality + Frame Gen) |
95 FPS |
약 5.2배 |
8. 경쟁 기술과의 비교
NVIDIA 외에도 AMD와 Intel이 유사한 업스케일링 기술을 제공하고 있다.
| 비교 항목 |
NVIDIA DLSS |
AMD FSR (FidelityFX SR) |
Intel XeSS |
| 작동 방식 |
AI 딥러닝 (Tensor Core) |
공간/시간적 보간 (알고리즘) |
AI 딥러닝 (XMX/DP4a) |
| 하드웨어 제약 |
RTX GPU 전용 |
모든 GPU (범용성 높음) |
Intel Arc 및 일부 타사 GPU |
| 화질 수준 |
최상 (AI 기반 정밀 복원) |
우수 (버전별 차이 존재) |
상 (AI 기반 복원) |
| 특이 사항 |
프레임 생성(3.0) 탑재 |
오픈 소스 기반의 높은 호환성 |
XMX 코어 사용 시 성능 극대화 |
9. 설정 팁 및 주의사항
- 해상도 매칭: DLSS는 기본 해상도가 높을수록 결과물이 더 정교하다. 예를 들어 1080p 모니터에서 '성능' 모드를 쓰기보다, 4K 모니터에서 '성능' 모드를 쓰는 것이 시각적 품질이 더 높다.
- 프레임 생성 사용 시: DLSS 3의 프레임 생성 기능을 켤 때는 반드시 V-Sync(수직 동기화)를 끄고 NVIDIA Reflex를 활성화하는 것이 입력 지연을 줄이는 최선의 방법이다.
- 품질 우선 설정: 최신 RTX 30/40 시리즈 사용자라면 '품질(Quality)' 모드만으로도 네이티브 해상도와 거의 차이 없는 화질을 얻으면서 성능 이득을 챙길 수 있으므로, 무리하게 '성능' 모드를 선택하기보다 '품질' 혹은 '균형' 모드를 권장한다.
10. 참고 문헌
# DLSS (Deep Learning Super Sampling)
## 1. 개요
**DLSS(Deep Learning Super Sampling)**는 NVIDIA가 개발한 딥러닝 기반의 이미지 업스케일링 기술로, 낮은 해상도에서 렌더링된 이미지를 AI를 통해 고해상도로 복원하여 게임의 시각적 품질을 유지하면서 프레임 속도(FPS)를 획기적으로 향상시키는 기술이다.
기본적으로 GPU가 처리해야 할 픽셀 수를 줄여 연산 부하를 낮추고, 그 빈자리를 인공지능이 예측하여 채우는 방식으로 작동한다. 이를 통해 고사양 게임이나 레이 트레이싱(Ray Tracing, 빛의 물리적 행동을 시뮬레이션하여 실사 같은 그래픽을 구현하는 기술) 적용 시 발생하는 성능 저하 문제를 해결하는 것을 핵심 목적으로 한다.
## 2. 작동 원리 및 기술적 배경
DLSS는 단순한 이미지 확대가 아닌, 훈련된 신경망을 이용한 **지능형 복원** 과정이다.
### 2.1 딥러닝 기반 업스케일링
DLSS는 수많은 고해상도 이미지 데이터를 학습한 AI 모델을 사용한다. GPU가 저해상도(예: 1080p)로 프레임을 렌더링하면, DLSS 알고리즘이 이전 프레임의 정보와 모션 벡터(Motion Vector, 픽셀의 이동 방향과 거리 정보)를 분석하여 누락된 픽셀을 생성하고 고해상도(예: 4K) 이미지로 출력한다.
### 2.2 텐서 코어(Tensor Core)의 역할
이 복잡한 AI 연산을 일반적인 CUDA 코어에서 처리하면 오히려 성능이 하락한다. 따라서 NVIDIA는 RTX 시리즈 GPU에 **텐서 코어(Tensor Core)**라는 AI 전용 가속기를 탑재했다. 텐서 코어는 행렬 연산에 최적화되어 있어, 실시간으로 딥러닝 추론을 수행하며 지연 시간 없이 업스케일링을 처리할 수 있게 한다.
### 2.3 전통적 업스케일링과의 비교
| 구분 | 전통적 공간 업스케일링 (Bilinear/Lanczos) | DLSS (AI 기반 업스케일링) |
| :--- | :--- | :--- |
| **작동 방식** | 주변 픽셀 값을 단순 보간하여 확대 | AI 모델이 픽셀 값을 예측하여 생성 |
| **화질** | 외곽선 뭉개짐(Blurry) 및 계단 현상 발생 | 원본 고해상도에 근접한 선명도 유지 |
| **연산 부하** | 매우 낮음 | 텐서 코어를 통한 AI 연산 필요 |
| **시간적 정보** | 단일 프레임만 처리 (Spatial) | 이전 프레임 정보 활용 (Temporal) |
## 3. 버전별 발전 과정
DLSS는 버전이 올라감에 따라 단순 해상도 복원을 넘어 프레임 생성과 빛의 표현 방식까지 확장되었다.
| 버전 | 주요 추가 기능 | 핵심 특징 | 요구 하드웨어 |
| :--- | :--- | :--- | :--- |
| **DLSS 1.0** | 기본 업스케일링 | 초기 AI 복원 기술, 고스트 현상 빈번 | RTX 20 시리즈 이상 |
| **DLSS 2.0** | Temporal Upscaling | 시간적 데이터 활용으로 화질 대폭 개선 | RTX 20 시리즈 이상 |
| **DLSS 3.0** | Frame Generation | AI가 완전히 새로운 프레임을 생성하여 삽입 | **RTX 40 시리즈 전용** |
| **DLSS 3.5** | Ray Reconstruction | AI 기반 레이 트레이싱 노이즈 제거 및 디테일 강화 | RTX 20 시리즈 이상 |
- **프레임 생성(Frame Generation):** 렌더링된 두 프레임 사이의 중간 프레임을 AI가 생성하여 화면 전환을 더욱 부드럽게 만든다. (RTX 40 시리즈 전용)
- **레이 재구성(Ray Reconstruction):** 기존의 수동 디노이저(Denoiser)를 대체하여, AI가 빛의 반사와 굴절을 더 정확하게 계산해 레이 트레이싱 화질을 높인다. (RTX 20 시리즈 이상 지원)
## 4. 하드웨어 및 소프트웨어 요구사항
### 4.1 하드웨어 요구사항
DLSS는 NVIDIA의 전용 하드웨어인 **텐서 코어**가 필수적이다.
- **RTX 20 시리즈 (Turing):** DLSS 2.0 및 3.5(레이 재구성) 지원
- **RTX 30 시리즈 (Ampere):** DLSS 2.0 및 3.5(레이 재구성) 지원
- **RTX 40 시리즈 (Ada Lovelace):** DLSS 2.0, 3.0(프레임 생성), 3.5(레이 재구성) 모두 지원
### 4.2 소프트웨어 요구사항
- **드라이버:** 최신 NVIDIA Game Ready 드라이버 설치 필요
- **API 지원:** 게임 개발사가 NVIDIA DLSS SDK를 통합하여 게임 엔진(Unreal Engine, Unity 등)에 구현해야 사용 가능하다.
## 5. DLSS 설정 모드별 차이점
사용자는 게임 내 설정에서 목적에 따라 다음과 같은 프리셋 모드를 선택할 수 있다.
| 모드 | 렌더링 해상도 (4K 기준) | 성능 향상 폭 | 화질 수준 | 추천 용도 |
| :--- | :--- | :--- | :--- | :--- |
| **품질 (Quality)** | 1440p $\rightarrow$ 4K | 낮음 $\sim$ 중간 | 매우 높음 | 화질 최우선, 고사양 PC |
| **균형 (Balanced)** | 1200p $\rightarrow$ 4K | 중간 | 높음 | 성능과 화질의 타협점 |
| **성능 (Performance)** | 1080p $\rightarrow$ 4K | 높음 | 보통 | 프레임 확보 우선, 중사양 PC |
| **초고성능 (Ultra Perf.)** | 720p $\rightarrow$ 4K | 매우 높음 | 낮음 | 최저 사양, 8K 해상도 환경 |
*(참고: 위 표의 $\rightarrow$ 표시는 저해상도 렌더링 후 고해상도로 업스케일링됨을 의미함)*
## 6. 성능 및 화질 분석
### 6.1 프레임 상승률 (FPS)
DLSS 적용 시 해상도와 모드에 따라 다르지만, 일반적으로 **품질 모드에서 1.5배, 성능 모드에서 2배 이상의 프레임 상승**을 보인다. 특히 DLSS 3의 프레임 생성 기능을 사용할 경우, 하드웨어 성능에 따라 최대 3~4배까지 프레임이 증가하는 사례가 보고된다.
### 6.2 시각적 트레이드-오프
- **고스트 현상(Ghosting):** 빠르게 움직이는 물체 뒤에 잔상이 남는 현상이다. 이는 AI가 이전 프레임의 정보를 참조하는 과정에서 잘못된 픽셀 데이터를 유지할 때 발생하며, DLSS 1.0에서 매우 심했으나 2.0의 시간적 업스케일링(Temporal Upscaling) 도입 이후 획기적으로 개선되었다.
- **아티팩트(Artifacts):** 미세한 픽셀 튀김이나 반짝임 현상이 발생할 수 있으며, 이는 주로 매우 낮은 해상도에서 업스케일링할 때 나타난다.
- **입력 지연(Input Lag) 증가:** DLSS 3의 '프레임 생성'은 픽셀을 복원하는 것이 아니라 AI가 새로운 프레임을 생성하여 삽입하는 방식이므로, 실제 입력과 화면 출력 사이에 지연 시간이 발생하는 단점이 있다. 이를 보완하기 위해 NVIDIA는 시스템 지연 시간을 줄여주는 **'NVIDIA Reflex'** 기술을 필수적으로 함께 도입하여 체감 지연 시간을 최소화하고 있다.
## 7. 실제 적용 사례 및 벤치마크
### 7.1 적용 게임 리스트
- **사이버펑크 2077 (Cyberpunk 2077):** DLSS 3.5 레이 재구성을 통해 네온사인과 반사 효과의 디테일을 극대화한 대표적 사례.
- **앨런 웨이크 2 (Alan Wake 2):** 풀 레이 트레이싱(Path Tracing) 환경에서 DLSS 3 프레임 생성 없이는 원활한 플레이가 불가능할 정도의 고사양 요구치를 DLSS로 해결.
- **포르자 호라이즌 5 (Forza Horizon 5):** 고속 주행 중에도 안정적인 프레임 유지와 선명한 배경 묘사 구현.
### 7.2 최신 버전 벤치마크 데이터 (예시 수치)
*환경: RTX 4080 / 4K 해상도 / 사이버펑크 2077 (Overdrive 모드)*
| 설정 | 평균 FPS | 체감 성능 향상 |
| :--- | :--- | :--- |
| Native 4K (DLSS Off) | 18 FPS | 1.0x (기준) |
| DLSS 2 (Quality) | 42 FPS | 약 2.3배 |
| DLSS 3 (Quality + Frame Gen) | 95 FPS | 약 5.2배 |
## 8. 경쟁 기술과의 비교
NVIDIA 외에도 AMD와 Intel이 유사한 업스케일링 기술을 제공하고 있다.
| 비교 항목 | NVIDIA DLSS | AMD FSR (FidelityFX SR) | Intel XeSS |
| :--- | :--- | :--- | :--- |
| **작동 방식** | AI 딥러닝 (Tensor Core) | 공간/시간적 보간 (알고리즘) | AI 딥러닝 (XMX/DP4a) |
| **하드웨어 제약** | RTX GPU 전용 | 모든 GPU (범용성 높음) | Intel Arc 및 일부 타사 GPU |
| **화질 수준** | 최상 (AI 기반 정밀 복원) | 우수 (버전별 차이 존재) | 상 (AI 기반 복원) |
| **특이 사항** | 프레임 생성(3.0) 탑재 | 오픈 소스 기반의 높은 호환성 | XMX 코어 사용 시 성능 극대화 |
## 9. 설정 팁 및 주의사항
- **해상도 매칭:** DLSS는 기본 해상도가 높을수록 결과물이 더 정교하다. 예를 들어 1080p 모니터에서 '성능' 모드를 쓰기보다, 4K 모니터에서 '성능' 모드를 쓰는 것이 시각적 품질이 더 높다.
- **프레임 생성 사용 시:** DLSS 3의 프레임 생성 기능을 켤 때는 반드시 **V-Sync(수직 동기화)를 끄고 NVIDIA Reflex를 활성화**하는 것이 입력 지연을 줄이는 최선의 방법이다.
- **품질 우선 설정:** 최신 RTX 30/40 시리즈 사용자라면 '품질(Quality)' 모드만으로도 네이티브 해상도와 거의 차이 없는 화질을 얻으면서 성능 이득을 챙길 수 있으므로, 무리하게 '성능' 모드를 선택하기보다 '품질' 혹은 '균형' 모드를 권장한다.
## 10. 참고 문헌
- [NVIDIA 공식 기술 블로그 (Developer Blog)](https://developer.nvidia.com/blog/)
- [NVIDIA GeForce 공식 제품 페이지](https://www.nvidia.com/ko-kr/geforce/dlss/)
- [NVIDIA DLSS SDK Documentation](https://developer.nvidia.com/rtx/dlss)