# 대용량 파일 추적

대용량 파일 추적이란 기가바이트(GB) 또는 테라바이트(TB) 단위의 거대한 파일이 변경, 이동, 삭제되는 과정을 효율적으로 감시하고 관리하는 기술을 의미합니다. 일반적인 버전 관리 시스템(VCS)이나 파일 시스템은 텍스트 기반의 작은 파일에 최적화되어 있어, 대용량 파일을 그대로 추적할 경우 저장소 크기가 급격히 증가하고 성능이 심각하게 저하됩니다. 따라서 이를 해결하기 위해 포인터 파일 사용, 해시 기반 변경 감지, 메타데이터 분리 등의 특수 기술이 사용됩니다.

## 개요

대용량 파일 추적의 주된 목적은 데이터의 무결성을 유지하면서 시스템의하는 것입니다. 주로 게임 개발(에셋 관리), AI/ML 모델 저장소, 고해상도 영상 편집 프로젝트, 빅데이터 분석 환경에서 필수적으로 사용됩니다.

### 기술적 원리
대용량 파일의 변경 사항을 감지하기 위해 다음과 같은 메커니즘이 활용됩니다.
*   **해시 값 비교 (Hashing):** 파일 전체를 읽는 대신 SHA-256 등의 알고리즘으로 생성된 고유 해시 값을 비교하여 내용 변경 여부를 판단합니다.
*   **포인터 참조 (Pointer Reference):** 실제 파일은 외부 저장소에 보관하고, 버전 관리 시스템에는 파일의 경로와 메타데이터가 담긴 작은 '포인터 파일'만 저장합니다.
*   **청크 분할 (Chunking):** 파일을 작은 단위(Chunk)로 나누어 변경된 부분만 추적하여 네트워크 전송량과 저장 공간을 최적화합니다.

## 주요 기술 및 도구

환경에 따라 적합한 추적 도구가 다르며, 주요 도구의 특성은 다음과 같습니다.

| 도구 | 주요 용도 | 추적 방식 | 특징 |
| :--- | :--- | :--- | :--- |
| **Git LFS** | 소스 코드와 함께 에셋 관리 | 포인터 파일 $\rightarrow$ 원격 저장소 | Git 워크플로우 유지, 대용량 바이너리 최적화 |
| **rsync** | 서버 간 파일 동기화 | 델타 전송 (Delta Transfer) | 변경된 부분만 전송하여 대역폭 절약 |
| **AWS S3 Inventory** | 클라우드 객체 관리 | 메타데이터 리포트 | 수십억 개의 객체 상태를 CSV/ORC로 추적 |
| **fswatch / inotify** | 실시간 파일 시스템 감시 | OS 커널 이벤트 리스닝 | 파일 변경 즉시 이벤트 발생 및 알림 |

## 구현 방법 (Git LFS 기준)

가장 대표적인 대용량 파일 추적 도구인 Git LFS(Large File Storage)의 설정 워크플로우는 다음과 같습니다.

1. **Git LFS 설치**
   시스템에 LFS 확장 기능을 설치합니다.
   ```bash
   git lfs install
   ```

2. **추적 대상 파일 지정**
   추적할 파일 확장자나 경로를 지정합니다. (예: `.psd` 파일 추적)
   ```bash
   git lfs track "*.psd"
   ```

3. **속성 파일 등록**
   `.gitattributes` 파일에 추적 설정이 기록되었는지 확인하고 이를 커밋합니다.
   ```bash
   git add .gitattributes
   git commit -m "Add LFS tracking for PSD files"
   ```

4. **파일 푸시 및 관리**
   일반적인 Git 명령어와 동일하게 사용하며, 실제 대용량 파일은 LFS 전용 서버로 전송됩니다.
   ```bash
   git add image.psd
   git commit -m "Add high-res image"
   git push origin main
   ```

## 주의 사항 및 최적화

대용량 파일 추적 시 발생할 수 있는 성능 저하를 방지하기 위해 다음 사항을 고려해야 합니다.

*   **저장 공간 관리 (Pruning):** 오래된 파일 버전이 로컬에 계속 쌓이면 디스크 공간이 부족해집니다. `git lfs prune`과 같은 명령어를 통해 불필요한 로컬 캐시를 주기적으로 삭제하십시오.
*   **네트워크 병목 현상:** 대용량 파일 전송 시 네트워크 타임아웃이 발생할 수 있습니다. HTTP 포스트 버퍼 크기를 늘리거나 전용 가속 네트워크를 사용하십시오.
*   **잠금 메커니즘 (Locking):** 바이너리 파일은 텍스트 파일과 달리 병합(Merge)이 불가능합니다. 충돌을 방지하기 위해 `git lfs lock` 기능을 사용하여 한 번에 한 명만 수정하도록 제어하십시오.

## 관련 문서

*   [Git LFS 공식 문서](https://git-lfs.github.com/)
*   [AWS S3 Inventory 사용자 가이드](https://docs.aws.amazon.com/s3/index.html)
*   [rsync 매뉴얼 페이지](https://manpages.ubuntu.com/manpages/jammy/man1/rsync.1.html)