과기정통부, LLM 성능 평가 데이터셋 구축 사업 공모

과학기술정보통신부는 한국지능정보사회진흥원(NIA)과 '2025년 거대언어모델(LLM) 성능 평가 데이터셋 구축 사업' 공모를 추진한다고 17일 밝혔다.

정부가 전략 사업으로 추진하는 '독자 AI 파운데이션 모델 프로젝트'에 대한 신뢰도 높은 성능 평가 체계를 마련하기 위한 사업이다. 참가신청 기간은 내달 7일 오전 10시까지다.

과기정통부는 "한국어·한국 문화 기반의 고도화된 문제 해결 능력 입증과 글로벌 경쟁력 확보를 위해 AI 파운데이션 모델의 성능 평가 방식 마련이 시급하다"며 "AI 파운데이션 모델의 하위 범주인 텍스트 기반 LLM 모델의 성능을 평가하기 위한 데이터셋을 우선 구축하겠다"고 설명했다.

공모는 기업, 대학, 공공기관, 정부·지자체, 협회 등을 대상으로 한다. 초거대AI 또는 자연어처리, 멀티모달 AI 등 대규모 데이터셋 기반의 AI 개발 역량을 갖춘 전문 기업·기관을 1개 이상 포함한 컨소시엄 형태로 수행기관을 구성해야 한다.

정부는 사전검토, 사업계획서 평가를 거쳐 3개 분야에서 3개 수행기관(컨소시엄)을 선정한다. 평가결과 적합(70점 이상)인 과제에 대해 평가점수 순으로 순위를 부여해 우선협상대상자를 결정하는 방식이다. 

평가항목은 ▲과제 목표의 타당성(12) ▲데이터 구축 내용의 적합성(30) ▲품질목표 및 품질 관리방안의 적정성(19) ▲LLM 성능 평가 역량(14) ▲사업 추진체계 및 추진역량(20) ▲상생 협력 및 사회적 가치구현(5) 등이다.

사업비는 24억원 규모로 수학, 지식, 장문 이해 3종 데이터 분야에 정부지원금 8억원씩이 주어진다. 단 국가연구개발혁신법 시행령 제19조에 따라 수행기관도 민간부담금을 부담해야 한다.

수행기관은 AI 학습에 적합한 형태와 내용의 원천 데이터 및 가공 데이터를 수집·제작 구축해 누구나 사용할 수 있도록 AI허브를 통해 공개해야 한다. 또 생성 모델 등을 활용한 데이터 생성, 증강을 활용해 데이터를 초기 구성할 경우 데이터의 유사성, 품질관리 방안을 제시해야 한다.

사업 산출물은 '기금사업 성과관리 및 활용 등에 관한 지침'에 따라 구축 이후 한국지능정보원에 일정기간 데이터에 대한 배타적 권리가 제공된다. 데이터 구축 이후 수행기관은 정보원과 협의 없이 데이터를 외부로 배포, 활용, 판매할 수 없다. 배타적 권리 행사 기간은 최소 2년이다.

한편 이번 공모는 '독자 AI 파운데이션 모델 프로젝트'와 함께 과기부에서 추진하는 2025년 '월드 베스트 LLM 데이터 활용 지원 사업'의 일환으로 추진된다. 해당 프로젝트 수행기관으로 선정되면 이번 사업에 참여할 수 없다.

임경호 기자 lim@techm.kr