가중치 평균 개요 가중치 평균(Weighted Average)은 단순 평균(Arithmetic Mean)과 달리 각 신뢰도를 반영하기 위해 가중치(Weight)를 부여하여 계산하는 평균 방식입니다. 특히 데이터과학과 모델 평가 분야에서 다양한 지표를 종합하거나, 클래스 불균형이 있는 분류 문제에서 성능을 평가할 때 널리 사용됩니다. 단순 평균은 모든 데이터…
검색 결과
"pandas"에 대한 검색 결과 (총 162개)
제2사분위수 (Second Quartile) 제2사분위수(Second Quartile, )는 데이터를 4등분 하는 세 개의 지점 중 두 번째 지점으로, 전체 데이터의 정확히 50%가 이 값보다 작거나 같고 나머지 50%가 이 값보다 크거나 같은 지점을 의미한다. 1. 정의 및 개념 분위수(Quantile)란 전체 데이터를 크기 순으로 나열했을 때 특정 비율…
단일 활성화 개요 단일 활성화(One-Hot Encoding)는 범주형 데이터(categorical data)를 기계학습 모델이 처리할 수 있도록 수치형 형태로 변환하는 대적인 데이터 인코딩 기 중 하나입니다.주형 변수는 특정한 카테고리나 레이블을 가지는 데이터로, 예를 들어 "성별(남, 여)", "지역(서울, 부산, 대구)" 등이 있습니다. 그러나 대부분…
SymPy 개요 SymPy는 파이썬(Python) 언어로 작성된 오픈소스 심볼릭 연산(Symbolic Computation) 라이브러리입니다. 일반적인 계산기가 숫자를 입력받아 결과값을 산출하는 것과 달리, SymPy는 수학적 기호(Symbol)를 그대로 유지하며 수식을 조작하고 해결하는 컴퓨터 대수 시스템(Computer Algebra System, CA…
ARIMA (자기회귀 누적 이동평균 모델) 1. 개요 ARIMA(AutoRegressive Integrated Moving Average) 모델은 시계열 데이터의 과거 값과 예측 오차를 이용하여 미래의 값을 예측하는 통계적 분석 모델이다. 특히 비정상 시계열을 차분을 통해 정상 시계열로 변환하여 분석하는 모델이라는 점이 핵심적인 정체성이다. 시계열 데이터가…
데이터 형식 변환 (Data Format Conversion) 1. 개요 데이터 형식 변환이란 특정 소프트웨어나 시스템에서 생성된 데이터의 구조와 표현 방식(Format)을 다른 시스템이나 애플리케이션에서 인식하고 처리할 수 있는 다른 형식으로 변경하는 과정을 의미한다. 현대의 데이터 생태계는 다양한 언어와 플랫폼으로 구성되어 있어, 서로 다른 시스템 간의…
SARIMA (Seasonal AutoRegressive Integrated Moving Average) 1. 개요 SARIMA는 시계열 데이터의 추세(Trend)뿐만 아니라 주기적으로 반복되는 계절성(Seasonality) 패턴을 동시에 모델링하기 위해 설계된 통계적 예측 모델이다. 기존의 [[ARIMA]](AutoRegressive Integrated …
인공지능의 편향과 차별 (AI Bias and Discrimination) 1. 개요 인공지능의 편향과 차별이란 AI 모델이 학습 데이터의 불균형이나 알고리즘의 설계 결함으로 인해 특정 보호 집단(Protected Group, 인종, 성별, 연령, 종교 등)에 대해 체계적으로 불리하거나 왜곡된 결과를 출력하는 현상을 의미한다. 현대 사회에서 AI는 채용, …
목표 기반 인코딩 목표 기반 인코딩(Target-based Encoding)은 범주형 변수(Categorical Variable)를 수치형 변수로 변환 데이터 인코딩법 중 하나로, 특히 지도 학습(Supervised Learning)에서 목표 변수(Target Variable)와의 관계를 활용하여 인코딩을하는 방법입니다. 이 방은 단순한 레이블 인코딩(La…
설계행렬 (Design Matrix) 1. 개요 설계행렬(Design Matrix)란 통계학 및 선형 모델에서 독립 변수(Independent Variables, Features)들을 행렬 형태로 구조화하여 모델의 파라미터를 효율적으로 추정하기 위해 사용하는 행렬이다. 2. 수학적 정의 및 구조 설계행렬 는 개의 관측치(Observation)와 개의 특성(…
조정 결정계수 (Adjusted R-squared) 조정 결정계수(Adjusted R-squared)는 회귀 분석에서 모델의 설명력을 나타내는 결정계수( )가 독립 변수의 개수가 증가함에 따라 무조건적으로 상승하는 단점을 보완하기 위해, 변수 개수에 따른 페널티를 부여하여 계산한 지표이다. 1. 개요 회귀 분석의 목적은 독립 변수( )들이 종속 변수( )의…
빅데이터 분석 (Big Data Analytics) 1. 개요 빅데이터 분석이란 기존의 데이터베이스 관리 도구로는 수집, 저장, 관리, 분석하기 어려울 정도로 거대한 규모와 복잡성을 가진 데이터 집합(Big Data)으로부터 유의미한 패턴, 상관관계, 추세 및 통찰력을 추출하는 고도의 분석 프로세스를 의미한다. 전통적인 데이터 분석이 정형 데이터(Struc…
Plotly 1. 개요 Plotly는 데이터 분석 및 시각화를 위해 설계된 오픈 소스 인터랙티브 그래프 라이브러리로, 웹 브라우저 기반의 동적인 시각화 결과물을 생성하는 도구입니다. 정적인 이미지를 생성하는 기존 라이브러리와 달리, 사용자가 그래프와 직접 상호작용할 수 있는 인터랙티브(Interactive) 기능을 제공하는 것이 핵심입니다. Plotly는 …
범주형 변수 개요 범주형 변수(Categorical Variable)는 데이터 과학과 통계학에서 중요한 데이터 유형 중 하나로, 특정 범주나 그룹에 속하는 값을 가지는 변수를 의미합니다. 이 변수는 정량적인 수치가 아닌 정성적인 속성을 표현하며, 데이터 분석, 머신러닝 모델링, 데이터 시각화 등 다양한 과정에서 핵심적인 역할을 합니다. 예를 들어, 사람의 …
로그 변환 개요 로그 변환(log transformation)은 데이터 과학 및 통계 분석에서 자주 사용되는 비선형 데이터 변환 기법으로, 주로 비대칭적이고 오른쪽으로 치우친(right-skewed) 연속형 변수의 분포를 정규 분포에 가깝게 만들기 위해 활용된다. 특히 지수적 성장 패턴을 보이거나 값의 범위가 매우 넓은 데이터(예: 소득, 인구, 웹 방문 …
DataFrame 개요 DataFrame(데이터프레임)은 데이터 과학 및 분석 분야에서 널리 사용되는 2차원 레이블이 붙은 표 형식 데이터 구조입니다. 행(Row)과 열(Column)로 구성되며, 각 열은 서로 다른 데이터 타입(정수, 실수, 문자열, 불리언, 날짜 등)을 가질 수 있습니다. DataFrame은 R 언어의 data.frame에서 유래했으며,…
불규칙성 (시계열 분석) 1. 개요 본 문서는 시계열 분석(Time Series Analysis) 관점에서의 불규칙성(Irregularity)을 다룬다. 시계열 분석에서 불규칙성이란 데이터의 전체적인 흐름을 결정하는 추세(Trend)나 일정한 주기로 반복되는 계절성(Seasonality)으로 설명되지 않는 무작위적인 변동 성분을 의미한다. 시계열 데이터는 …
AI Fairness 360 (AIF360) Toolkit 1. 개요 AI Fairness 360 (AIF360)은 IBM에서 개발한 오픈소스 라이브러리로, 머신러닝 모델의 학습 및 추론 과정에서 발생할 수 있는 편향성(Bias)을 탐지하고 이를 완화(Mitigation)하기 위한 포괄적인 도구 모음이다. 현대 인공지능 시스템은 학습 데이터에 포함된 인간의…
AI 모델 규제 (AI Model Regulation) 1. 개요 및 정의 AI 모델 규제란 인공지능 기술이 사회 전반에 미치는 영향력을 고려하여, AI 시스템의 개발, 배포 및 사용 과정에서 발생할 수 있는 위험을 관리하고 법적·윤리적 기준을 준수하도록 강제하는 일련의 제도적 장치를 의미한다. 인공지능 기술은 데이터 기반의 의사결정 능력을 통해 산업 혁신…
scikit-learn 개요 scikit-learn은 파이썬 프로그래밍 언어를 기반으로 한 오픈소스 머신러닝 라이브러리입니다. 과학적 컴퓨팅과 데이터 분석을 위한 Python 생태계(SciPy)에 포함되어 있으며, 데이터 마이닝, 데이터 분석, 예측 모델링 등 다양한 기능을 제공합니다. 2007년에 처음 공개된 이후로, 개발자와 데이터 과학자가 머신러닝 알…