오픈 사이언스 (Open Science) 오픈 사이언스는 과학 연구의 모든 단계에서 산출물과 과정을 투명하게 공개하고, 연구 자금 조달 및 시민 참여를 포함하여 누구나 제약 없이 연구 결과에 접근하고 이를 활용하며 검증할 수 있도록 하는 개방형 연구 패러다임이다. 1. 개요 오픈 사이언스는 지식의 생산과 확산 과정에서 발생하는 장벽을 제거하여 과학적 발견의…

DBpedia 1. 개요 DBpedia는 위키백과(Wikipedia)의 구조화된 정보-박스(Infobox)를 추출하여 시맨틱 웹(Semantic Web) 표준 형식으로 제공하는 오픈 지식 그래프(Knowledge Graph) 프로젝트이다. DBpedia의 주된 목적은 위키백과라는 거대한 비정형 텍스트 저장소를 기계가 읽고 처리할 수 있는 정형 데이터로 변환…

OpenStreetMap (OSM) 1. 개요 OpenStreetMap(OSM)은 전 세계 사용자들이 협력하여 구축하는 자유롭고 오픈 소스인 지리 정보 데이터베이스이다. '지도의 위키피디아'라는 별칭처럼, 누구나 전 세계 어디든 지도를 편집하고 수정할 수 있으며, 생성된 데이터는 오픈 데이터 라이선스에 따라 누구나 자유롭게 이용, 배포, 수정할 수 있는 특…

Shapefile Shapefile(또는 SHP)은 지리정보시스템(GIS) 분야에서 가장 널리 사용되는 벡터 데이터 형식 중 하나입니다. 마이크로소프트社의 소프트웨어 기업인 ESRI(Environmental Systems Research Institute)가 개발하였으며, 1990년대 초에 처음 소개되었습니다. Shapefile은 지리적 공간 데이터(점, …

커뮤니티 기반 데이터 개요 커뮤니티 기반 데이터(Community-based Data)는 특정 커뮤니티(온라인 커뮤니티, 오프라인 집단, 전문가 그룹 등)의 구성원들이 자발적으로 생성, 공유, 기여하는 정보를 의미합니다. 이러한 데이터는 전통적인 기관 중심의 데이터 수집 방식과는 달리, 분산되고 참여 기반의 특성을 가지며, 특히 공개 데이터셋(Open Da…

DeepSpeech 개요 DeepSpeech는 머신러닝 기반의 오픈소스 음성 인식(Speech-to-Text) 엔진으로, 원래 구글의 연구팀에서 개발한 딥러닝 음성 인식 기술(Deep Speech)을 기반으로 하며, 현재는 Mozilla Foundation에서 주도적으로 개발 및 유지보수 중인 프로젝트이다. DeepSpeech는 전통적인 음성 인식 시스템에…

PyData 개요 PyData는 파이(Python)을반으로 데이터 과학, 머신러닝, 통계 분석, 데이터 엔지니어링 다양한 데이터 관련 작업을 수행하는 데 사용되는 오픈소스 생태계와 커뮤니티를 총칭하는 용어입니다. PyData는 단순한 도구의 집합을 넘어서, 데이터 과학자, 연구자, 개발자들이 협업하고 지식을 공유하는 글로벌 커뮤니티이기도 하며, 특히 PyD…

데이터셋 구축 개요 데이터셋 구축(Data Set Construction)은 데이터 과학 프로젝트의 첫 번째이자 가장 중요한 단계 중 하나로, 분석, 모델링, 머신러닝 등의 작업을 수행하기 위해 필요한 데이터를 체계적으로 수집, 정제, 통합하고 구조화하는 과정을 의미합니다. 고품질 데이터셋은 정확한 인사이트 도출과 신뢰할 수 있는 예측 모델 개발의 기반이 …

통계청 개요 통계청(Statistics Korea, KOSTAT은 대한민국의 공식 통 기관으로, 국가의 경제, 사회, 인구, 산업 등 다양한 분야의 공공 통계를 생산·관리하고 공표하는 중앙행정기관이다. 1948년 정부 수립 이후 통계 업무의 일원화와 체계화를 위해 설립되었으며, 현재는 행정안전부 산하에 위치해 있다. 통계청은 정확하고 신뢰할 수 있는 통계 …

WebText2 개요 WebText2는 대규모 텍스트 데이터셋 중 하나로, 주로 자연어(NLP) 및 언어 모델 훈련을 위한 목적으로 개발된 데이터 수집 프로젝트의 결과물입니다. 이 데이터셋은 인터넷 상의 다양한 공개 텍스트 자원을 크롤링하여 구축되었으며, 특히 GPT-2(Generative Pre-trained Transformer 2) 모델의 훈련에 사용…