대용량 데이터 처리 (Large-scale Data Processing) 1. 개요 대용량 데이터 처리란 단일 컴퓨팅 자원으로는 처리하기 어려운 방대한 양의 데이터를 효율적으로 수집, 저장, 분석하기 위해 분산 컴퓨팅 기술과 최적화된 알고리즘을 적용하는 일련의 과정을 의미한다. 현대 컴퓨팅 환경에서는 IoT 기기의 확산, SNS의 폭증, 고해상도 로그 데이…
검색 결과
"실시간 추천 시스템"에 대한 검색 결과 (총 6개)
하이브리드 아키텍처 (Hybrid Architecture) 1. 개요 하이브리드 아키텍처란 서로 다른 두 가지 이상의 설계 방식, 기술 스택 또는 인프라 환경을 결합하여 각 방식의 장점을 극대화하고 단점을 보완하는 시스템 설계 구조를 의미한다. 본 문서는 하이브리드 개념이 적용되는 세 가지 주요 도메인인 인프라(클라우드), 애플리케이션(앱), 데이터(람다)…
대규모 데이터 처리 (Large-Scale Data Processing) 개요 대규모 데이터 처리(Large-Scale Data Processing)는 방대한 양의 데이터(빅데이터)를 효율적으로 수집, 저장, 분석 및 시각화하기 위한 기술적 접근법과 아키텍처를 포괄하는 개념입니다. 전통적인 단일 서버 기반의 데이터 처리 방식은 데이터의 볼륨(Volume),…
자동 추천 기능 개요 자동 추천 기능(Recommendation System)은 사용자의 과거 행동, 선호도, 컨텍스트 정보를 분석하여 개인화된 아이템(상품, 콘텐츠, 서비스 등)을 실시간으로 제시하는 기술이다. 전자상거래, 동영상 스트리밍, 뉴스 포털, 소셜 네트워크 등 다양한 도메인에서 핵심 비즈니스 가치를 창출한다. 본 문서는 자동 추천 기능의 기본 …
Structured Streaming 개요 Structured Streaming은 아치 스파크(Apache Spark) 2.0 버전부터 도입된 고수준 스트리밍 처리 엔진으로, 실시간 데이터 스트림을 마치 정적 데이터를 다루는 것처럼 선언형 방식으로 처리할 수 있도록 설계되었습니다. 기존의 스파크 스트리밍(Spark Streaming)이 마이크로배치(Micr…
Apache Spark 개요 Apache Spark는 대규모 데이터 처리를 위한 오픈소스 분산 컴퓨팅 프레임워크. 2009년 UC 버클리의 AMPLab에서 개발을 시작했으며, 2010년에 오픈소스로 공되고 203년 Apache Software Foundation 인큐베이션 프로젝트로 채택된 이후, 빅데이터 처리 분야에서 가장 널리 사용되는 도구 중 하나로 …