# pandas

## 개요
pandas는 Python 프로그래밍 언어를 위한 오픈소스 데이터 조작 및 분석 라이브러리입니다. 2008 년 Wes McKinney 에 의해 개발되었으며, 이름은 "panel data"(패널 데이터) 에서 유래했습니다. 표 형식의 구조화된 데이터를 효율적으로 처리할 수 있도록 설계되어 데이터 과학, 머신러닝, 비즈니스 인텔리전스 분야에서 널리 사용됩니다. NumPy 와 Matplotlib 과 함께 Python 데이터 생태계의 핵심 구성 요소로 자리 잡았으며, 높은 학습 곡선에도 불구하고 직관적인 API 와 풍부한 기능으로 산업 표준 도구로 인정받고 있습니다.

## 주요 특징
- **표 형식 데이터 처리**: Excel 스프레드시트나 SQL 테이블과 유사한 구조로 데이터를 관리합니다.
- **다양한 데이터 포맷 지원**: CSV, Excel, SQL, JSON, HDF5, Parquet 등 다양한 형식의 데이터를 한 줄의 코드로 읽고 쓸 수 있습니다.
- **결측치 처리**: 누락된 데이터를 자동으로 감지하고 제거하거나 보간하는 기능을 제공합니다.
- **시간 시계열 기능**: 날짜와 시간을 다루는 강력한 도구와 함수를 내장하고 있습니다.
- **높은 호환성**: NumPy 배열, Matplotlib 시각화, scikit-learn 머신러닝 라이브러리와 원활하게 연동됩니다.

## 핵심 데이터 구조
pandas 는 주로 두 가지 기본 데이터 구조를 기반으로 동작합니다.

### Series
Series 는 1 차원 라벨付き 배열입니다. 각 요소에 고유한 인덱스(label) 가 부여되며, 서로 다른 데이터 타입을 포함할 수 있습니다. SQL 의 컬럼이나 R 의 벡터와 유사한 개념으로, 단일 열 데이터를 다룰 때 사용됩니다.

### DataFrame
DataFrame 은 2 차원 표 형식의 데이터 구조로, 행과 열로 구성됩니다. 각 열은 서로 다른 데이터 타입을 가질 수 있으며, 열 이름(컬럼명) 과 행 인덱스를 통해 효율적으로 접근할 수 있습니다. SQL 의 테이블이나 Excel 시트와 가장 유사한 구조로, pandas 의 핵심 연산 단위입니다.

## 기본 사용법 및 예제
pandas 를 사용하려면 먼저 라이브러리를 설치하고 가져와야 합니다. 일반적으로 `pd` 로 별칭(alias) 을 지정하여 사용합니다.

```python
import pandas as pd

# DataFrame 생성 예제
data = {
    '이름': ['김철수', '이영희', '박지민'],
    '나이': [25, 30, 28],
    '직업': ['개발자', '디자이너', '데이터 분석가']
}
df = pd.DataFrame(data)

# 데이터 확인
print(df.head())      # 상위 5 행 출력
print(df.describe())  # 수치형 컬럼의 기본 통계량 출력
```

## 주요 기능 및 활용

### 데이터 읽기/쓰기 (I/O)
pandas 는 다양한 파일 형식을 한 줄의 코드로 처리할 수 있습니다.
- `pd.read_csv()`, `pd.read_excel()`: 파일에서 데이터 로드
- `df.to_csv()`, `df.to_excel()`: 데이터 저장
- `pd.read_sql()`: 데이터베이스 쿼리 결과 직접 DataFrame 으로 변환

### 데이터 정제 및 변환
실제 데이터는 종종 누락되거나 불일치하는 값을 포함합니다. pandas 는 `dropna()` (결측치 제거), `fillna()` (결측치 채우기), `replace()` (값 치환), `astype()` (데이터 타입 변환) 등의 메서드를 통해 데이터를 정제하고 표준화할 수 있습니다.

### 그룹화 및 집계
`groupby()` 메서드는 데이터를 특정 기준으로 분류하고, `sum()`, `mean()`, `count()` 등의 집계 함수와 결합하여 요약 통계를 빠르게 계산합니다. 이는 비즈니스 리포트나 EDA(탐색적 데이터 분석) 에서 필수적으로 사용됩니다.

## 성능 및 대안
pandas 는 메모리 내(in-memory) 연산을 기반으로 하므로, 기가바이트(GB) 이상의 대용량 데이터를 다룰 경우 성능 병목이 발생할 수 있습니다. 이를 보완하기 위해 다음과 같은 대안 라이브러리들이 주목받고 있습니다:
- **Polars**: Rust 로 작성되어 병렬 처리와 빠른 속도를 자랑합니다.
- **Dask**: 분산 컴퓨팅을 지원하여 대규모 데이터를 처리합니다.
- **PyArrow**: 메모리 내 데이터 교환 및 분석을 위한 저수준 라이브러리입니다.

그러나 pandas 는 여전히 생태계, 문서, 커뮤니티 지원, 교육 자료 면에서 가장 널리 쓰이는 표준 도구이며, 대부분의 데이터 파이프라인에서 핵심 구성 요소로 활용됩니다.

## 참고 자료 및 관련 문서
- [pandas 공식 문서](https://pandas.pydata.org/docs/)
- [pandas GitHub 저장소](https://github.com/pandas-dev/pandas)
- 관련 문서: NumPy, Matplotlib, scikit-learn, 데이터 과학 파이프라인, EDA(탐색적 데이터 분석), SQL