정보 이론 (Information Theory) 정보 이론(Information Theory)은 정보의 정량화, 저장, 통신을 연구하는 수학의 한 분야입니다. 이 이론은 클로드 섀넌(Claude Shannon)이 1948년 발표한 논문 "통신의 수학적 이론(A Mathematical Theory of Communication)"을 기원으로 하며, 현대 디지…
검색 결과
검색어를 입력하세요.
코딩 이론 (Coding Theory) 1. 개요 코딩 이론(Coding Theory)은 정보를 효율적으로 전송하고 저장하기 위해 데이터를 특정한 규칙에 따라 변환하는 수학적 방법론을 연구하는 학문이다. 주된 목적은 데이터의 중복성을 제거하여 전송 효율을 높이는 '효율성'과, 전송 과정에서 발생하는 잡음(Noise)으로 인한 오류를 검출하고 수정하는 '신뢰…
Categorical Cross-Entropy (범주형 교차 엔트로피) 개요 Categorical Cross-Entropy(범주형 교차 엔트로피)는 머신러닝, 특히 딥러닝 분야에서 다중 클래스 분류(Multi-class Classification) 문제의 손실 함수(Loss Function)로 널리 사용되는 지표입니다. 이 함수는 모델이 예측한 확률 분포와…
블라디미 레벤슈타인 블라디미르 레벤슈인(Vladimir Levenshtein, 935년5월 20일 – 201년 9월2일)은 소련 및 러시아의 유명한 수학자이자 정보 이론 및 오류 정정 코드 분야의 선구자 중 명이다. 그 특히 레벤슈타인 거리(Levenshtein Distance) 널리 알려져, 이 개념은 문자열 간의 유사도를 측정하는 데 핵심적인 역할을 한…
퍼플렉서티 개요 퍼플렉서티(plexity)는 자연어(Natural Language Processing NLP) 분야 언어 모델(Language Model)의 성능을 평가하는 대표적인 지표 중 하나입니다 직관적으로, 퍼플렉서티 모델이 주어진 텍스트 시퀀스를 예측하는 데 얼마나 '당황'하는지를 나타내는 수치로 해석할 수 있습니다. 즉, 퍼플렉서티가 낮을수록 모…