AI 기업 모티프테크놀로지스가 독자 개발한 AI 파운데이션 모델 ‘Motif 3’를 허깅페이스에 오픈소스로 공개했다. 전체 파라미터는 3140억개지만 실제 추론 과정에서 토큰당 활성화되는 파라미터는 132억개인 전문가 혼합(MoE) 구조다. 정부의 ‘독자 AI 파운데이션 모델’ 사업에 2차부터 합류한 뒤 약 5개월 만에 사전학습과 후처리를 포함한 개발 전 과정을 완료했다. 모델 가중치뿐 아니라 학습 코드와 라이브러리도 상업적 활용이 가능한 MIT 라이선스로 개방했다. 제한된 연산량으로 에이전트 업무와 코딩 성능을 확보하는 데 개발 초점을 맞췄다.
모티프, 독자 AI 파운데이션 모델 ‘Motif 3’ 오픈소스 공개…AAII 47점으로 한국 기업 1위 (자료 제공: 모티프)
모티프테크놀로지스는 Motif 3가 글로벌 AI 모델 평가기관 아티피셜 애널리시스의 종합 지능 지수(AAII)에서 47점을 기록해 한국 기업 1위, 글로벌 대규모언어모델 9위에 올랐다고 13일 발표했다. 회사가 공개한 순위 기준으로는 오픈웨이트 모델 중 4위, 미국과 중국 기업을 제외하면 가장 높은 성적이다.
다만 13일 현재 아티피셜 애널리시스 공개 페이지는 ‘Motif 3 Beta’를 AAII 45점의 추정치로 표시하고 있으며, 독립 평가가 예정돼 있다고 안내하고 있다. 회사가 제시한 정식 모델의 47점과 세부 순위는 해당 공개 페이지에 아직 반영되지 않은 상태다. AAII는 에이전트·코딩·과학적 추론·일반 지식 등 9개 평가를 결합한 지수로, 특정 모델의 모든 활용 성능을 직접 의미하지는 않는다. 평가 방법론에 따르면 에이전트와 코딩 평가가 전체 가중치의 58%를 차지한다.
전체 규모는 314B, 토큰당 연산은 13.2B
Motif 3는 여러 전문가 네트워크 가운데 입력 처리에 필요한 일부만 선택적으로 활성화하는 MoE 방식으로 설계됐다. 전체 모델 규모를 키우면서도 실제 서비스 비용을 좌우하는 활성 연산량은 줄이기 위한 구조다. 허깅페이스 모델 카드에 따르면 12조5000억개의 토큰으로 학습했으며 최대 25만6000토큰의 문맥 길이를 지원한다.
자체 개발한 어텐션 구조 ‘GDLA(Grouped Differential Latent Attention)’도 적용했다. 기존 기술을 그대로 조합하기보다 mHC 구조의 결함을 보완한 α-decay와 Muon 옵티마이저의 불안정성을 줄이기 위한 MuonClip 등 모델 구조와 학습 방식 전반에 자체 설계를 반영했다는 설명이다.
모델 카드와 테크니컬 리포트에 공개된 평가에서는 실무형 에이전트 과제에서 강점을 나타냈다. 금융 업무 시나리오의 과업 완수율을 측정하는 τ³-Banking에서 35.3점, 터미널 기반 코딩·시스템 작업 평가인 Terminal-Bench 2.1에서 74.9점을 기록했다. SWE-bench Verified는 76.2점, 장문 추론 평가 AA-LCR은 72.3점, 실제 직무 과업을 기반으로 한 GDPval v2는 38.7점이었다.
환각 억제 능력을 평가하는 AA-Omniscience 논할루시네이션 지표에서는 71.6점을 제시했다. 모티프테크놀로지스는 이를 근거로 단순 질의응답보다 금융 업무, 소프트웨어 개발, 시스템 조작처럼 여러 단계를 수행해야 하는 에이전틱 AI 영역에 Motif 3를 활용할 수 있다고 봤다.
언어모델과 함께 비전 70억개, 오디오 7억개, 비디오 VAE 12억개 파라미터 규모의 모달리티 인코더도 개발해 공개했다. 향후 이들 모듈을 언어모델과 결합해 이미지·음성·영상을 함께 처리하는 통합 멀티모달 모델로 확장할 계획이다.
회사에 따르면 개발에는 정부가 제공한 엔비디아 B200 GPU 768장이 투입됐고, 학습 기간 GPU 가동률은 97.9~100%를 유지했다. 다음 모델인 Motif 4에서는 글로벌 5위권 진입을 목표로 모델 구조와 성능을 추가로 고도화한다.
임정환 모티프테크놀로지스 대표는 “모티프 3는 짧은 기간과 제한된 자원 속에서 독자 아키텍처만으로 글로벌과 경쟁할 수 있는 수준임을 증명한 시작점”이라며 “같은 조건이 주어졌을 때 어디까지 갈 수 있는지는 이제부터가 증명의 시간”이라고 말했다.
Motif 3의 경쟁력은 대규모 모델을 공개했다는 사실보다 토큰당 활성 연산량을 줄인 구조와 개발 자산을 외부에 개방한 방식에 있다. 다음 검증 지점은 정식 모델의 점수와 순위가 독립 평가에 반영되는지, 132억개 활성 구조가 실제 서비스 비용과 업무 성능으로 이어지는지다.
The post 전체 3140억개 중 132억개만 활성화…모티프, 독자 AI 모델 공개 appeared first on 벤처스퀘어.