Orca Orca는 Microsoft에서 발표한 소형 언어 모델(Small Language Model, SLM)로, 거대 언어 모델(LLM)의 복잡한 추론 능력을 효율적으로 학습시키기 위해 지식 증류(Knowledge Distillation) 기법을 적용한 모델입니다. 단순히 결과값만 모방하는 것이 아니라, 대형 모델의 상세한 추론 과정(Reasoning …
검색 결과
"SLM"에 대한 검색 결과 (총 4개)
C4 (Colossal Clean Crawled Corpus) 개요 C4 (Colossal Clean Crawled Corpus)는 구글(Google)이 T5(Text-to-Text Transfer Transformer) 모델의 사전 학습(Pre-training)을 위해 구축한 대규모 정제 텍스트 데이터셋이다. 웹상의 방대한 데이터를 수집하는 Common …
3D 프린팅 (3D Printing) 1. 개요 3D 프린팅이란 3차원 디지털 모델 데이터를 기반으로 재료를 층층이 쌓아 올려 입체적인 물체를 생성하는 제조 기술이다. 산업계에서는 이를 적층 제조(Additive Manufacturing, AM)라고 정의하며, 이는 재료를 깎아내어 형상을 만드는 전통적인 절삭 가공(Subtractive Manufacturi…
ELECTRA 개요 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)는 2020년 구글 리서치(Google Research) 팀이 제안한 자연어 처리(NLP) 기반 사전 학습(pre-training) 방법론입니다. 기존 BERT 모델에서 널리 사용되던 …