중복 데이터 제 개요데이터 정제(Data Cleaning)는 데이터 분석 및 머신러닝 모델 개발 과정에서 매우 중요한 전처리 단계입니다. 과정에서 데이터의 품질을 높이고, 분석 결과의 신뢰성을 확보하기 위해 다양한 문제를 해결합니다. 그중 중복 데이터 제거(Deduplication)는 동일하거나 매우 유사한 데이터 레코드가 여러 번 존재하는 현상을 식별하고…
검색 결과
검색어를 입력하세요.
WER (Word Error Rate, 단어 오류율) 1. 개요 WER(Word Error Rate, 단어 오류율)은 자동 음성 인식(ASR, Automatic Speech Recognition) 및 기계 번역 시스템의 성능을 측정하기 위해 사용되는 표준 지표로, 정답(Reference)과 결과(Hypothesis) 사이의 단어 단위 차이를 수치화한 것입니…
편집 채널 (Editing Channel) 1. 개요 편집 채널(Editing Channel)이란 전송된 데이터 시퀀스에서 심볼의 값이 변하거나, 일부가 누락되거나, 혹은 임의의 심볼이 추가되어 입력 시퀀스와 출력 시퀀스의 길이가 달라질 수 있는 통신 채널 모델을 의미한다. 일반적인 통신 채널이 심볼의 값 변화(Bit Flip)만을 다루는 것과 달리, 편집…
Levenshtein Distance 개요 레벤슈타인 거리(Levenshtein Distance)는 두 문자열 간의 유사도를 측정하는 데 사용되는 편집 거리(Edit Distance)의 한 형태로, 한 문자열을 다른 문자열로 변환하는 데 필요한 최소한의 편집 연산 횟수를 나타냅니다. 이 개념은 러시아 수학자 블라디미르 레벤슈타인(Vladimir Levens…
블라디미 레벤슈타인 블라디미르 레벤슈인(Vladimir Levenshtein, 935년5월 20일 – 201년 9월2일)은 소련 및 러시아의 유명한 수학자이자 정보 이론 및 오류 정정 코드 분야의 선구자 중 명이다. 그 특히 레벤슈타인 거리(Levenshtein Distance) 널리 알려져, 이 개념은 문자열 간의 유사도를 측정하는 데 핵심적인 역할을 한…
레벤슈타인 거리 개요 레벤슈타인 거리Levenshtein)는 두 문자열 간의 유사도를 측정하는 편집 거리(Edit Distance)의 형태로, 러시아 수학자 블라디미르 레벤슈타인(Vladimir Levenshtein)이 1965년에 제안한 개념이다. 이 거리는 한 문자열을 다른 문자열로 변환하기 위해 필요한 최소 편집 연산 횟수를 계산함으로써 두 문자열의 …