개체명 인식 개요 개체명 인식(Named Entity Recognition, 이하 NER)은 자연어 처리(Natural Language Processing, NLP) 분야의 핵심 기술 중 하나로, 텍스트 내에 등장하는 특정 유형의 명명된 실체(named entities)를 식별하고 분류하는 작업입니다. 예를 들어, "서울은 대한민국의 수도입니다."라는 문장…
검색 결과
"개체명 인식"에 대한 검색 결과 (총 52개)
장기 기억 신경망 개요 장기 신경망(Long Short-T Memory, LSTM)은 순환 신망(Recurrent Neural Network,NN)의 한형으로, 시계열 데이터나 순차적 데이터를 효과적으로 처리하기 위해 설계 인공신경망 구조입니다. 전통적인 RNN은 장기 의존성(long-term dependencies) 문제, 즉 오래된 정보를 기억하고 활용…
Masked Language Modeling 개요 Masked Language Modeling(MLM)은 자연어 처리(NLP) 분야에서 사용되는 자기지도 학습(Self-Supervised Learning) 기법으로, 언어 모델을 사전 훈련(Pre-Training)하는 데 핵심적인 역할을 합니다. 이 기법은 입력 텍스트의 일부 토큰을 무작위로 마스킹한 뒤, …
언어적 표현 (Linguistic Expression) 1. 개요 핵심 용어: 상징(Symbol): 실제 대상과 직접적인 물리적 연관성은 없으나, 사회적 약속에 의해 특정 의미를 갖게 된 기호. 언어 체계(Language System): 특정 공동체가 사용하는 문법, 어휘, 음운 규칙의 집합. 언어적 표현이란 인간이 자신의 생각, 감정, 의도 등을 특정한 …
MEMM (Maximum Entropy Markov Model, 최대 엔트로피 마르코프 모델) 1. 개요 최대 엔트로피 마르코프 모델(Maximum Entropy Markov Model, MEMM)은 시퀀스 레이블링(Sequence Labeling) 문제를 해결하기 위해 설계된 조건부 확률 모델(Conditional Probability Model)이자 로…
CRF: 조건부 확률 필드 (Conditional Random Field) 개 조건부 확률 필드(Conditional Random Field, 이하 CRF)는 주어진 입력 시퀀스에 기반하여 출력 레이블 시퀀스를 예측하는 확률적 그래프 모델의 일종입니다. 자연어처리(NLP) 분야에서 특히 토큰 수준의 레이블링 작업, 예를 들어 개체명 인식(Named Enti…
DBpedia 1. 개요 DBpedia는 위키백과(Wikipedia)의 구조화된 정보-박스(Infobox)를 추출하여 시맨틱 웹(Semantic Web) 표준 형식으로 제공하는 오픈 지식 그래프(Knowledge Graph) 프로젝트이다. DBpedia의 주된 목적은 위키백과라는 거대한 비정형 텍스트 저장소를 기계가 읽고 처리할 수 있는 정형 데이터로 변환…
XLM-R (Cross-lingual Language Model-RoBERTa) 1. 개요 XLM-R(Cross-lingual Language Model-RoBERTa)은 Facebook AI Research(FAIR)에서 개발한 대규모 다국어 사전 훈련 언어 모델로, 단일 모델 내에서 100개 이상의 언어를 동시에 처리할 수 있도록 설계된 Transfor…
딥러닝 기반 언어 모델 (Deep Learning-based Language Model) 1. 개요 딥러닝 기반 언어 모델은 인공신경망을 이용하여 단어 시퀀스의 확률 분포를 학습함으로써, 주어진 텍스트 다음에 올 단어를 예측하거나 문장의 의미를 수치적으로 표현하는 인공지능 모델이다. 과거의 통계적 방식에서 벗어나 대규모 데이터와 심층 신경망을 결합함으로써 …
Embedding 개요 임베딩(Embedding)은공지능, 특히 자연어 처리(NLP), 컴퓨터 비전, 추천 시스템 등 다양한 분야에서 핵심적인 기술로 사용되는 고차원 데이터를 저차원의 밀집 벡터(dense vector)로 변환하는 과정을 의미합니다. 이 기술은 원시 데이터(예: 단어, 문장, 이미지, 사용자 행동)의 의미적 또는 구조적 특성을 보존하면서도 …
ELECTRA 개요 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)는 2020년 구글 리서치(Google Research) 팀이 제안한 자연어 처리(NLP) 기반 사전 학습(pre-training) 방법론입니다. 기존 BERT 모델에서 널리 사용되던 …
BERT (Bidirectional Encoder Representations from Transformers) BERT(Bidirectional Encoder Representations from Transformers)는 Google AI Language 팀에서 개발한 언어 이해를 위한 양방향 사전 학습 모델입니다. 기존의 언어 모델들이 텍스트를 왼쪽에…
지식 그래프 (Knowledge Graph) 1. 개요 지식 그래프(Knowledge Graph)는 실세계의 개체(Entity)들 사이의 관계를 네트워크 형태로 표현하여 컴퓨터가 데이터의 의미와 맥락을 이해할 수 있도록 구축한 지식 베이스입니다. 단순한 데이터베이스가 데이터를 표(Table) 형태의 저장소로 관리하는 것과 달리, 지식 그래프는 데이터 간의 …
조사 (Postposition) 1. 개요 조사란 체언(명사, 대명사, 수사) 뒤에 붙어 그 말이 문장 안에서 가지는 문법적 관계를 나타내거나 특별한 의미를 더해주는 형태소이다. 한국어는 어근에 조사가 결합하여 문법적 기능을 수행하는 교착어(Agglutinative Language)적 특성을 가지며, 조사의 선택에 따라 동일한 단어라도 주어, 목적어, 보어…
트랜스포머 (Transformer) 0. 빠른 시작 (Quick Start) 입문자를 위한 트랜스포머 아키텍처의 핵심 요약입니다. 한 줄 정의: 순환 신경망(RNN)의 순차적 처리 한계를 극복하고, 셀프 어텐션(Self-Attention) 메커니즘만을 사용하여 데이터 전체를 병렬로 처리하는 딥러닝 모델입니다. 핵심 키워드: 셀프 어텐션, 멀티 헤드 어텐션,…
의미 기반 정보 처리 (Semantic Information Processing) 1. 개요 의미 기반 정보 처리(Semantic Information Processing)란 텍스트를 단순한 문자열(String)의 집합으로 보지 않고, 그 안에 담긴 개념, 맥락, 그리고 개체 간의 관계 등 '의미(Meaning)'를 분석하여 처리하는 컴퓨터 과학 및 자연어…
품사 태깅 (Part-of-Speech Tagging) 1. 개요 품사 태깅(Part-of-Speech Tagging, POS Tagging)이란 자연어 처리(NLP) 과정에서 텍스트의 각 단어(또는 형태소)에 대해 문법적 범주인 품사를 할당하는 과정을 말한다. 이는 텍스트 분석의 가장 기초적인 단계 중 하나로, 단어의 표면적인 형태뿐만 아니라 문맥 내에서…
법률 문서 처리 (Legal Document Processing) 개요 법률 문서 처리(Legal Document Processing)는 자연어 처리(NLP) 및 인공지능(AI) 기술을 활용하여 법률 관련 텍스트 데이터를 수집, 분석, 요약, 분류 및 생성하는 기술 분야를 의미합니다. 전통적으로 법률 업무는 방대한 판례, 법령, 계약서 및 소송 서류의 검토…
은닉 마르코프 모델 (Hidden Markov Model, HMM) 개요 은닉 마르코프 모델(Hidden Markov Model, 약자 HMM)은 통계적 확률 모델의 일종으로, 관찰할 수 없는(은닉된) 상태들이 마르코프 성질을 따르며, 이 상태들이 관찰 가능한 출력 신호를 생성한다고 가정하는 모델입니다. 자연어 처리(NLP), 음성 인식, 생정보학, 시계열…
시퀀스 라벨링 (Sequence Labeling) 시퀀스 라벨링(Sequence Labeling)은 자연어 처리(NLP) 분야에서 입력된 연속적인 데이터 시퀀스(일반적으로 단어 또는 문자 단위)에 대해 각 요소마다 해당하는 클래스 라벨을 예측하는 지도 학습 문제입니다. 이는 문장의 구조적 이해를 바탕으로 개별 토큰의 의미를 파악하는 데 핵심적인 역할을 하며…