모티프테크놀로지스, 자체 개발 LLM 'Motif 12.7B' 오픈소스 공개

AI 스타트업 모티프테크놀로지스는 자체 개발한 대규모 언어모델(LLM) 'Motif 12.7B'를 글로벌 오픈소스 플랫폼 허깅페이스에 공개했다고 5일 밝혔다.

'Motif 12.7B'는 127억개의 매개변수를 기반으로 모티프테크놀로지스가 프롬 스크래치 방식으로 모델 구축과 데이터 학습 전 과정을 독자 수행한 순수 국산 AI 모델이다. 모티프는 지난 7월 공개한 텍스트-이미지 변환(T2I) 모델 'Motif-Image-6B'에 이어 LLM과 LMM(대형 멀티모달 모델)을 모두 독자 개발했다.

모티프테크놀로지스는 이번 모델 개발에 ▲그룹 단위 차등 어텐션(Grouped Differential Attention, GDA) ▲뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘 등 자체 핵심 기술을 적용했다.

GDA는 연산 헤드의 비대칭 구조를 통해 기존 어텐션 메커니즘의 효율성을 개선, 연산량 대비 성능을 극대화했다. 이 기술로 환각(할루시네이션) 현상을 줄이고 고난도 추론 성능을 향상시켰다.

뮤온 옵티마이저 병렬화 알고리즘은 멀티노드 분산 환경에서 발생하는 GPU 간 통신 병목을 해소해 학습 효율을 높였다. GPU의 연산과 통신 작업을 중첩 스케줄링해 대기 시간을 최소화하고, 학습 속도와 자원 활용률을 개선했다.

벤치마크 결과, 'Motif 12.7B'는 AIME25, GPQA-Diamond, ZebraLogic 등 추론 능력을 평가하는 수학·과학·논리 과제에서 720억개의 매개변수를 가진 알리바바 '큐원 2.5(72B)'를 능가했으며, 구글 '젬마3(Gemma 3)' 동급 모델보다도 주요 지표에서 우수한 성능을 보였다.

모티프테크놀로지스는 고비용 강화학습(RL) 단계를 생략하고 '추론 중심 지도학습(Reasoning-Focused SFT)' 방식을 도입해 개발 비용을 절감하면서도 고도화된 논리 추론 능력을 확보했다. 또한 모델이 스스로 'Think(심층 추론)'과 'No Think(즉시 응답)' 방식을 구분해 GPU 사용량과 응답 지연시간을 최소화했다.

회사 측은 올해 말까지 100B 규모의 초거대 LLM과 텍스트-비디오 변환(T2V) 모델을 순차적으로 공개할 예정이다.

임정환 모티프테크놀로지스 대표는 "GDA와 뮤온 옵티마이저 병렬화 알고리즘은 각각 LLM의 '두뇌'와 '에너지 효율'을 재설계한 핵심 기술"이라며, "Motif 12.7B는 비용 효율성과 성능을 동시에 갖춘 새로운 AI 모델의 표준을 제시한 사례"라고 말했다.

남도영 기자 hyun@techm.kr