빅데이터 분석 (Big Data Analytics) 1. 개요 빅데이터 분석이란 기존의 데이터베이스 관리 도구로는 수집, 저장, 관리, 분석하기 어려울 정도로 거대한 규모와 복잡성을 가진 데이터 집합(Big Data)으로부터 유의미한 패턴, 상관관계, 추세 및 통찰력을 추출하는 고도의 분석 프로세스를 의미한다. 전통적인 데이터 분석이 정형 데이터(Struc…
검색 결과
"pandas"에 대한 검색 결과 (총 157개)
Plotly 1. 개요 Plotly는 데이터 분석 및 시각화를 위해 설계된 오픈 소스 인터랙티브 그래프 라이브러리로, 웹 브라우저 기반의 동적인 시각화 결과물을 생성하는 도구입니다. 정적인 이미지를 생성하는 기존 라이브러리와 달리, 사용자가 그래프와 직접 상호작용할 수 있는 인터랙티브(Interactive) 기능을 제공하는 것이 핵심입니다. Plotly는 …
범주형 변수 개요 범주형 변수(Categorical Variable)는 데이터 과학과 통계학에서 중요한 데이터 유형 중 하나로, 특정 범주나 그룹에 속하는 값을 가지는 변수를 의미합니다. 이 변수는 정량적인 수치가 아닌 정성적인 속성을 표현하며, 데이터 분석, 머신러닝 모델링, 데이터 시각화 등 다양한 과정에서 핵심적인 역할을 합니다. 예를 들어, 사람의 …
로그 변환 개요 로그 변환(log transformation)은 데이터 과학 및 통계 분석에서 자주 사용되는 비선형 데이터 변환 기법으로, 주로 비대칭적이고 오른쪽으로 치우친(right-skewed) 연속형 변수의 분포를 정규 분포에 가깝게 만들기 위해 활용된다. 특히 지수적 성장 패턴을 보이거나 값의 범위가 매우 넓은 데이터(예: 소득, 인구, 웹 방문 …
DataFrame 개요 DataFrame(데이터프레임)은 데이터 과학 및 분석 분야에서 널리 사용되는 2차원 레이블이 붙은 표 형식 데이터 구조입니다. 행(Row)과 열(Column)로 구성되며, 각 열은 서로 다른 데이터 타입(정수, 실수, 문자열, 불리언, 날짜 등)을 가질 수 있습니다. DataFrame은 R 언어의 data.frame에서 유래했으며,…
불규칙성 (시계열 분석) 1. 개요 본 문서는 시계열 분석(Time Series Analysis) 관점에서의 불규칙성(Irregularity)을 다룬다. 시계열 분석에서 불규칙성이란 데이터의 전체적인 흐름을 결정하는 추세(Trend)나 일정한 주기로 반복되는 계절성(Seasonality)으로 설명되지 않는 무작위적인 변동 성분을 의미한다. 시계열 데이터는 …
AI Fairness 360 (AIF360) Toolkit 1. 개요 AI Fairness 360 (AIF360)은 IBM에서 개발한 오픈소스 라이브러리로, 머신러닝 모델의 학습 및 추론 과정에서 발생할 수 있는 편향성(Bias)을 탐지하고 이를 완화(Mitigation)하기 위한 포괄적인 도구 모음이다. 현대 인공지능 시스템은 학습 데이터에 포함된 인간의…
AI 모델 규제 (AI Model Regulation) 1. 개요 및 정의 AI 모델 규제란 인공지능 기술이 사회 전반에 미치는 영향력을 고려하여, AI 시스템의 개발, 배포 및 사용 과정에서 발생할 수 있는 위험을 관리하고 법적·윤리적 기준을 준수하도록 강제하는 일련의 제도적 장치를 의미한다. 인공지능 기술은 데이터 기반의 의사결정 능력을 통해 산업 혁신…
scikit-learn 개요 scikit-learn은 파이썬 프로그래밍 언어를 기반으로 한 오픈소스 머신러닝 라이브러리입니다. 과학적 컴퓨팅과 데이터 분석을 위한 Python 생태계(SciPy)에 포함되어 있으며, 데이터 마이닝, 데이터 분석, 예측 모델링 등 다양한 기능을 제공합니다. 2007년에 처음 공개된 이후로, 개발자와 데이터 과학자가 머신러닝 알…
numpy 개요 NumPy(Numerical Python의 약자)는 파이썬에서 과학적 계산과 데이터 분석을 위한 핵심 라이브러리 중 하나로, 고성능의 다차 배열 객체(nd)와 이를 효율 다루기 위한 수학적 함수 제공합니다. NumPy는 Python의 기본보다 훨씬 빠르고 메모리 효율적인 배열 연산을 가능하게 하며, 데이터과학, 기계학습, 물리학, 공학 등 …
SciPy 개요 SciPy(Science Python)는 과학적 및 기술적 계산을 위한 파이썬 기반의 오픈소스 소프트웨어 생태계의 핵심 구성 요소 중 하나입니다 SciPy는 수치 계산, 최적화, 선형 대수, 적분, 보간, 신호 처리, 통계 분석 등 다양한 수학적 및 과학적 문제 해결을 위한 강력한 함수와 알고리즘을 제공합니다. SciPy는 NumPy 위에 …
데이터 변환 (Data Transformation) 1. 개요 데이터 변환(Data Transformation)이란 수집된 원시 데이터(Raw Data)를 분석, 모델링 또는 저장 목적에 적합한 형식이나 구조로 변경하는 과정을 의미합니다. 데이터 과학의 전처리(Preprocessing) 단계에서 핵심적인 역할을 하며, 데이터의 품질을 높이고 머신러닝 알고리…
상관행렬 (Correlation Matrix) 개요 상관행렬(Correlation Matrix)은 통계학 및 데이터 과학에서 다변량 데이터의 변수 간 선형 상관 관계를 한눈에 파악할 수 있도록 행렬 형태로 정리한 표입니다. 특히 상관분석(Correlation Analysis)의 핵심 도구로서, 여러 변수들이 서로 어떻게 연관되어 있는지 그 강도와 방향을 수…
공간 분석 (Spatial Analysis) 공간 분석(Spatial Analysis)은 지리적 데이터의 위치, 형태, 분포 및 상호작용을 연구하고 해석하기 위한 기법과 방법론의 집합입니다. 단순한 지리적 위치 정보를 넘어, 데이터 간의 공간적 관계를 정량적으로 분석하여 패턴, 추세, 이상치 등을 발견하고 의사결정을 지원하는 핵심적인 데이터 과학 분야입니다…
데이터 품질 개선 (Data Quality Improvement) 개요 데이터 품질 개선(Data Quality Improvement)은 데이터의 정확성, 일관성, 완전성, 적시성 및 신뢰성을 높이기 위해 수행되는 체계적인 프로세스입니다. 현대 데이터 과학 및 비즈니스 인텔리전스(BI) 환경에서 '쓰레기 입력, 쓰레기 출력(Garbage In, Garbag…
Shapefile Shapefile(또는 SHP)은 지리정보시스템(GIS) 분야에서 가장 널리 사용되는 벡터 데이터 형식 중 하나입니다. 마이크로소프트社의 소프트웨어 기업인 ESRI(Environmental Systems Research Institute)가 개발하였으며, 1990년대 초에 처음 소개되었습니다. Shapefile은 지리적 공간 데이터(점, …
레이블의 분포 (Label Distribution) 개요 레이블의 분포(Label Distribution)는 기계 학습(Machine Learning) 및 데이터 과학 분야에서 분류(Classification) 문제의 타겟 변수(Target Variable)가 데이터셋 내에서 어떻게 할당되어 있는지를 나타내는 통계적 특성입니다. 특히 지도 학습(Superv…
산점도 (Scatter Plot) 산점도(Scatter Plot)는 데이터 과학 및 통계학에서 두 변수 간의 관계를 시각화하기 위해 가장 널리 사용되는 차트 유형 중 하나입니다. 이 차트는 수평축(X축)과 수직축(Y축)으로 구성된 직교 좌표계에 데이터 포인트를 산점(산포)시켜 표시함으로써, 변수들 사이의 상관관계, 분포 패턴, 이상치(Outlier) 등을 …
파이썬(Python) 파이썬은 높은 가독성과 간결한 문법을 지향하는 인터프리터 방식의 고급 프로그래밍 언어로, 다양한 도메인에서 널리 사용되는 범용 프로그래밍 환경입니다. > 참고: 본 문서는 Python 3.x 시리즈를 기준으로 작성되었습니다. Python 2는 공식 지원이 종료되었으므로 새로운 프로젝트에서는 Python 3를 사용해야 합니다. 파이썬 개…
Series 개요 데이터 과학 및 분석 분야에서 Series는 주로 파이썬의 pandas 라이브러리에서 제공하는 1 차원 라벨링된 배열을 의미합니다. R 언어의 데이터 구조에서 영감을 받아 설계되었으며, 시계열 데이터, 카테고리 데이터, 수치형 데이터 등 다양한 유형의 데이터를 효율적으로 저장하고 처리하는 데 핵심적으로 사용됩니다. 데이터 과학 워크플로우에…