코퍼스 개요 코퍼스(Corpus)는 자연어(NLP, Natural Language Processing) 분에서 핵심적인 자료로, 특정 목적을 위해 체계적으로 수집·정리된 대규모 텍스트 데이터의 집합을 의미한다.수형은 '코퍼스(corpus)', 복수형은 '코퍼스(corpora)'로 사용된다. 자연어처리 시스템은 언어의 구조, 의미, 사용 패턴을 학습하기 위해…
검색 결과
"데이터 수집"에 대한 검색 결과 (총 291개)
데이터 파이프라인 (Data Pipeline) 1. 개요 데이터 파이프라인이란 데이터가 생성되는 소스로부터 목적지(저장소 또는 분석 도구)까지 이동하며 일련의 처리 과정을 거치는 자동화된 데이터 흐름 체계를 의미한다. 현대 데이터 생태계에서는 데이터의 양이 폭증하고 소스가 다양해짐에 따라, 수동으로 데이터를 이동시키는 것이 불가능해졌다. 데이터 파이프라인은…
OT (운영 기술, Operational Technology) 1. 개요 OT(운영 기술, Operational Technology)란 산업 현장에서 물리적인 장치, 프로세스 및 이벤트를 직접 모니터링하고 제어하기 위해 사용하는 하드웨어와 소프트웨어 기술의 집합을 의미한다. 일반적인 데이터 처리를 목적으로 하는 IT(정보기술)와 달리, OT는 밸브, 모터의…
대시보드 (Dashboard) 1. 개요 대시보드는 복잡한 데이터 세트와 핵심 성과 지표([[KPI]])를 시각적 요소로 변환하여, 사용자가 시스템의 상태나 비즈니스 성과를 한눈에 파악하고 신속한 의사결정을 내릴 수 있도록 돕는 데이터 시각화 인터페이스이다. 본래 자동차의 계기판(Dashboard)에서 유래한 용어로, 운전자가 차량의 속도, 연료 상태 등 …
기계 학습 전처리 기계 학습 전처리(Machine Learning Preprocessing)는 원시 데이터를 기계 학습 모이 효과적으로 학습할 수 있도록 변환하고 준비하는 일련의 과정을 의미합니다. 모델의 성능은 학습 알고리즘뿐 아니라 데이터의 질에 크게 의존하므로, 전처리는 기계 학습 프로젝트에서 가장 중요한 단계 중 하나로 꼽힙니다. 이 문서에서는 기계…
OPC UA (Open Platform Communications Unified Architecture) 1. 개요 OPC UA(Open Platform Communications Unified Architecture)는 산업 자동화 장치 간의 상호 운용성을 보장하기 위해 설계된 플랫폼 독립적인 서비스 지향 아키텍처(SOA) 기반의 통신 표준이다. 과거의 …
합성 데이터 (Synthetic Data) 1. 개요 합성 데이터(Synthetic Data, 가상 데이터라고도 함)란 실제 세계에서 수집된 데이터가 아니라, 알고리즘이나 통계적 모델을 통해 인위적으로 생성된 데이터를 의미한다. 실제 데이터(Real-world Data)가 관찰된 사실의 기록이라면, 합성 데이터는 실제 데이터의 통계적 특성, 상관관계, 분포…
대표성 편향 (Representativeness Bias) 1. 개요 대표성 편향(Representativeness Bias)이란 어떤 대상이 특정 집단의 전형적인 특성과 유사하다는 이유만으로, 그 대상이 해당 집단에 속할 확률이 높다고 판단하는 인지적 오류를 의미한다. 이는 사람들이 확률적 판단을 내릴 때 수학적인 확률 계산보다는 직관적인 '유사성'이나 …
Splunk 1. 개요 Splunk는 다양한 소스에서 생성되는 머신 데이터(Machine Data)를 실시간으로 수집, 인덱싱, 검색 및 분석하여 인사이트를 도출하는 빅데이터 분석 플랫폼이다. 현대 IT 인프라는 [[마이크로서비스 아키텍처(MSA)]], 클라우드 네이티브 환경의 확산으로 인해 서버, 네트워크 장비, 애플리케이션, 보안 장비 등에서 방대한 양…
Google Cloud (Google Cloud Platform) 1. 개요 Google Cloud는 구글이 서비스하는 퍼블릭 클라우드 컴퓨팅 플랫폼이다. 현재는 Google Cloud로 브랜드 명칭이 통합되었으며, 흔히 GCP(Google Cloud Platform)라고도 불린다. 구글 검색과 유튜브 등 자사 서비스에서 사용하는 것과 동일한 인프라를 기반…
산업 네트워크 (Industrial Network) 1. 개요 산업 네트워크란 제조 공정, 전력망, 플랜트 등 산업 현장의 자동화 기기들이 데이터를 주고받으며 제어 및 모니터링을 수행하기 위해 구축된 특수 목적의 통신 인프라를 의미한다. 일반적인 IT 네트워크가 데이터의 전송량(Throughput)과 유연성에 집중하는 반면, 산업 네트워크는 다음과 같은 특…
오케스트레이션 (Orchestration) IT 및 소프트웨어 공학 관점에서의 오케스트레이션은 여러 컴퓨터 시스템, 서비스, 소프트웨어 애플리케이션의 배치, 관리, 조정을 자동화하여 복잡한 워크플로우를 효율적으로 제어하는 프로세스를 의미합니다. 특히 현대의 오케스트레이션은 사용자가 정의한 '선언적 상태'를 시스템이 지속적으로 감시하고 유지하는 상태 관리 메…
ARIMA (자기회귀 누적 이동평균 모델) 1. 개요 ARIMA(AutoRegressive Integrated Moving Average) 모델은 시계열 데이터의 과거 값과 예측 오차를 이용하여 미래의 값을 예측하는 통계적 분석 모델이다. 특히 비정상 시계열을 차분을 통해 정상 시계열로 변환하여 분석하는 모델이라는 점이 핵심적인 정체성이다. 시계열 데이터가…
오케스트레이션 플랫폼 (Orchestration Platform) 1. 개요 오케스트레이션 플랫폼이란 복잡한 컴퓨터 시스템, 소프트웨어, 서비스 간의 자동화된 구성, 관리 및 조정을 통합적으로 수행하는 시스템을 의미한다. 단순한 자동화(Automation)가 단일 작업(Single Task)을 사람이 개입하지 않고 수행하는 것에 집중한다면, 오케스트레이션(…
다중 모달 분석 (Multimodal Analysis) 1. 개요 다중 모달 분석(Multimodal Analysis)이란 텍스트, 이미지, 오디오, 비디오, 센서 데이터 등 서로 다른 형태의 데이터 양식(Modality, 모달리티)을 통합적으로 처리하여 정보의 의미를 추출하고 분석하는 인공지능 기술이다. 인간이 시각, 청각, 촉각 등 다양한 감각 기관을 …
SARIMA (Seasonal AutoRegressive Integrated Moving Average) 1. 개요 SARIMA는 시계열 데이터의 추세(Trend)뿐만 아니라 주기적으로 반복되는 계절성(Seasonality) 패턴을 동시에 모델링하기 위해 설계된 통계적 예측 모델이다. 기존의 [[ARIMA]](AutoRegressive Integrated …
개인화 마케팅 개요 개인화 마케팅(Personalized Marketing)은 고객의 선호도, 행동 패턴, 구매 이력 등을 기반으로 맞춤형 콘텐츠와 서비스를 제공하는 전략이다. 이는 단순한 대량 마케팅에서 벗어나 고객 중심의 세분화된 접근을 통해 브랜드 충성도를 높이고, 매출 증대에 기여한다. 디지털 기술 발전과 데이터 분석 도구의 보급으로 2010년대 이…
인공지능의 편향과 차별 (AI Bias and Discrimination) 1. 개요 인공지능의 편향과 차별이란 AI 모델이 학습 데이터의 불균형이나 알고리즘의 설계 결함으로 인해 특정 보호 집단(Protected Group, 인종, 성별, 연령, 종교 등)에 대해 체계적으로 불리하거나 왜곡된 결과를 출력하는 현상을 의미한다. 현대 사회에서 AI는 채용, …
센서 네트워크 (Sensor Network) 1. 개요 센서 네트워크란 물리적, 화학적 환경 정보를 수집하는 다수의 센서 노드들이 무선 통신을 통해 상호 연결되어, 수집된 데이터를 중앙 관리 시스템으로 전달하고 처리하는 네트워크 인프라를 의미한다. 전통적인 컴퓨터 네트워크가 고속의 데이터 전송과 대역폭 확보에 집중하는 것과 달리, 센서 네트워크는 에너지 효…
스터지스 규칙 (Sturges' rule) 스터지스 규칙은 연속형 데이터의 도수분포표를 작성하거나 히스토그램을 그릴 때, 데이터의 총 개수를 바탕으로 최적의 계급(Bin) 수를 결정하기 위해 사용되는 통계적 공식이다. 1. 개요 데이터 분석 과정에서 원시 데이터를 구간별로 나누어 빈도를 측정하는 도수분포표(Frequency Distribution Table…