Orca

Orca Orca는 Microsoft에서 발표한 소형 언어 모델(Small Language Model, SLM)로, 거대 언어 모델(LLM)의 복잡한 추론 능력을 효율적으로 학습시키기 위해 지식 증류(Knowledge Distillation) 기법을 적용한 모델입니다.…