어휘 사전 (Vocabulary) 1. 개요 어휘 사전(Vocabulary)이란 자연어 처리(NLP)에서 모델이 처리할 수 있는 모든 고유한 토큰(Token, 텍스트의 최소 의미 단위)의 집합을 의미하며, 텍스트 데이터를 컴퓨터가 이해할 수 있는 수치형 벡터로 변환하기 위한 기초 매핑 테이블 역할을 한다. 2. 어휘 사전 구축 과정 어휘 사전 구축은 원시 …
검색 결과
"데이터 전처리"에 대한 검색 결과 (총 154개)
전역 정규화 (Global Normalization) 1. 개요 전역 정규화(Global Normalization)란 머신러닝 모델 학습 전, 데이터셋 전체의 통계량(평균, 표준편차, 최솟값, 최댓값 등)을 산출하여 모든 개별 데이터를 일정한 범위나 분포로 변환하는 데이터 전처리 기법이다. 이 과정의 주된 목적은 서로 다른 단위(Unit)나 스케일을 가진 …
Doc2Vec Doc2Vec은 문서)를 고정된 차원의 밀 벡터(dense vector)로 변환하는 임베딩 기법으로, 자연어 처리(NLP) 분야에서 문서 간의 의미적 유사도를 계산하거나 문서 분류, 군집화 등의 작업에 널리 사용됩니다. 이 기법은 단어를 벡터로 표현하는 Word2Vec의 확장판으로, 단어뿐만 아니라 전체 문서를 하나의 벡터로 표현할 수 있도록…
감독 학습 개요 감독 학습(Supervised Learning)은 인공지능, 특히 머신러닝 분야에서 가장 기초적이고 널리 사용되는 학습 방식 중 하나입니다. 이 방법은 입력 데이터와 그에 대응하는 정답(레이블)이 쌍으로 주어진 상태에서 모델이 입력과 출력 사이의 관계를 학습함으로써 새로운 입력에 대한 정확한 출력을 예측할 수 있도록 합니다. 감독 학습은 분…
데이터 증강 (Data Augmentation) 1. 개요 데이터 증강(Data Augmentation)이란 기존의 학습 데이터를 인위적으로 변형하거나 생성하여 데이터셋의 양을 늘리고 다양성을 확보하는 데이터 전처리 기법이다. 머신러닝과 딥러닝 모델, 특히 파라미터 수가 많은 심층 신경망은 학습 데이터가 부족할 경우 훈련 데이터에만 지나치게 최적화되어 새로…
데이터 과학 (Data Science) 1. 개요 데이터 과학(Data Science)은 정형 및 비정형 데이터로부터 유의미한 통찰(Insight)과 지식을 추출하기 위해 수학, 통계학, 컴퓨터 과학 및 도메인 지식을 융합하여 활용하는 다학제적 분야이다. 현대 사회에서 데이터 과학은 단순한 통계 분석을 넘어, 방대한 양의 데이터(Big Data)를 처리하고…
다중 계절성 (Multiple Seasonality) 1. 개요 다중 계절성(Multiple Seasonality)이란 하나의 시계열 데이터 내에 서로 다른 주기를 가진 두 개 이상의 계절적 패턴이 동시에 존재하는 현상을 의미한다. 이러한 다중 계절성을 정확히 식별하고 모델링하는 것은 복잡한 시계열 데이터에서 노이즈를 제거하고 정확한 수요 예측과 자원 최적…
데이터 기반 의사결정 개요/소개 데이터 기반 의사결정(Data-Driven Decision Making)은 객관적인 데이터를 분석하여 전략적 결정을 내리는 과정으로, 현대 조직의 효율성과 혁신을 촉진하는 핵심 전략이다. 이 접근법은 주관적인 경험이나 직감에 의존하는 전통적 방식과 달리, 데이터 수집 → 분석 → 해석 → 실행의 체계적인 프로세스를 통해 결정…
예측 유지보수 개요/소개 예측 유지보수(Predictive Maintenance)는 장비의 고장 가능성을 사전에 분석하여 적절한 시점에 유지보수를 수행하는 기술입니다. 이 방법은 전통적인 정기적 유지보수와 달리, 데이터 수집 및 분석을 통해 실제 상태에 맞춘 유지보수 전략을 수립합니다. 특히 소프트웨어와 오픈소스 기술의 발전으로 인해, 예측 유지보수는 더 …
예지 보전 (Predictive Maintenance, PdM) 1. 개요 예지 보전(Predictive Maintenance, PdM)이란 설비의 상태를 실시간으로 모니터링하고 데이터를 분석하여, 고장이 발생하기 직전의 최적의 시점에 유지보수를 수행하는 전략적 자산 관리 기법이다. 이는 단순히 정해진 주기마다 부품을 교체하는 것이 아니라, 실제 설비의 '…
유사도 분석 개요 유사도 분석(Similarity Analysis)은 두 개 이상의 데이터 객체 간의 유사한 정도를 정량적으로 측정하고 평가하는 데이터 분석 기법입니다.는 데이터 과학, 머신러닝, 검색, 텍스트 마이닝, 추천 시스템 등 다양한 분야에서 핵심적인 역할을 수행합니다. 유사도 분석의 목적은 객체 간의 공통점이나 차이점을 파악하여 군집화, 분류, …
JupyterLab 개요 JupyterLab은 데이터 과학, 머신러닝, 과학 계산을 위해 설계된 웹 기반의 대화형 개발 환경(IDE, Integrated Development Environment)입니다. 기존의 Jupyter Notebook을 계승하며, 더 유연하고 확장 가능한 사용자 인터페이스를 제공하는 차세대 인터페이스로 개발되었습니다. 사용자는 하나…
언더샘플링 (Undersampling) 1. 개요 언더샘플링(Undersampling)이란 데이터 불균형(Data Imbalance) 문제가 존재하는 데이터셋에서 다수 클래스(Majority Class)의 샘플 수를 줄여 소수 클래스(Minority Class)와의 비율을 맞추는 데이터 전처리 기법이다. 데이터 불균형이란 특정 클래스의의 데이터 수가 다른 …
데이터 리크 (Data Leakage) 개요 데이터 리크(Data Leakage)란 머신러닝 모델을 학습시킬 때, 모델이 예측해야 할 타겟(Target) 정보나 테스트 데이터셋의 정보가 학습 데이터셋에 의도치 않게 포함되어 모델의 성능이 비정상적으로 높게 측정되는 현상을 말한다. 데이터 리크가 발생하면 학습 단계에서는 매우 높은 정확도와 낮은 오차를 보이지…
시계열 플롯 (Time Series Plot) 1. 개요 시계열 플롯(Time Series Plot)은 일정 시간 간격으로 기록된 데이터 포인트들을 시간의 흐름에 따라 시각화하여 데이터의 변화 추이, 패턴, 주기성을 분석하는 그래프입니다. 주로 시간에 따른 변수의 변화를 관찰하여 미래의 값을 예측하거나 과거의 특정 사건이 데이터에 미친 영향을 분석하는 목적…
K-means -means는 대적인 비지도 학습(Unsupervised Learning) 알고리즘 중 하나로, 주어진 데이터를 K개의 클러스터(군집)로 나누는 데 사용됩니다. 클러스터링은 데이터의 유사성을 기반으로 그룹을 형성하여 데이터의 구조를 이해하고 패턴을 발견하는 데 중요한 역할을 합니다. 특히 K-means는 간단하면서도 효율적인 알고리즘으로, 다…
위양성율 (False Positive Rate) 위양성율(False Positive Rate, 약자 FPR)은 이진 분류(Binary Classification) 문제에서 실제 음성(Negative)인 샘플 중 모델이 양성(Positive)으로 잘못 예측한 비율을 의미합니다. 즉, "사건이 발생하지 않았음에도 불구하고 사건이 발생했다고 판단하는 오류"의 빈…
Tableau (태블로) 1. 개요 Tableau(태블로)는 데이터 시각화 및 비즈니스 인텔리전스(BI, Business Intelligence) 솔루션으로, 복잡한 데이터를 직관적인 그래프와 대시보드로 변환하여 데이터 기반의 의사결정을 돕는 분석 도구이다. Tableau는 코딩 기술이 없는 일반 사용자도 드래그 앤 드롭(Drag-and-Drop) 방식으로…
Collector (데이터 수집 에이전트) 개요 Collector(컬렉터)는 분산 시스템, 클라우드 인프라, 또는 대규모 네트워크 환경에서 데이터 수집 에이전트(Data Collection Agent)의 역할을 수행하는 소프트웨어 컴포넌트 또는 아키텍처 패턴을 지칭합니다. 현대 IT 인프라에서 Collector는 서버의 메트릭(Metric), 로그(Log)…
클러스터링 개요 클러스터링(Clustering)은 데이터 포인트를 유사성에 따라 그룹화하는 비지도 학습(unsupervised learning) 기법으로, 데이터의 내재적 구조를 탐색하고 패턴을 발견하는 데 활용됩니다. 이는 분석가들이 대규모 데이터 세트에서 의미 있는 정보를 추출할 수 있도록 도와주며, 마케팅, 생물정보학, 이미지 처리 등 다양한 분야에서…