C4 (Colossal Clean Crawled Corpus) 개요 C4 (Colossal Clean Crawled Corpus)는 구글(Google)이 T5(Text-to-Text Transfer Transformer) 모델의 사전 학습(Pre-training)을 위해 구축한 대규모 정제 텍스트 데이터셋이다. 웹상의 방대한 데이터를 수집하는 Common …
검색 결과
"GPT-J"에 대한 검색 결과 (총 2개)
OpenWebText 개요 OpenWebText(OpenWebText Corpus)는 대규모 자연어 처리(NLP) 연구 및 언어 모델 개발을 위해 사용되는 공개 텍스트 코퍼스입니다. 이 코퍼스는 Reddit 플랫폼에서 공유된 외부 웹사이트 링크를 기반으로 수집된 웹 페이지의 텍스트를 크롤링하고 정제하여 구성되었습니다. OpenWebText는 원본 데이터를 …