생성형 AI 경쟁이 모델 개발에서 실제 서비스 성능을 높이는 ‘추론 최적화’ 기술로 확대되고 있다. 같은 AI 모델이라도 얼마나 적은 컴퓨팅 자원으로 빠르고 효율적으로 실행할 수 있는지가 기업 경쟁력을 좌우하는 시대다. 노타는 세계적인 머신러닝 학회 ICML에서 열린 AI 최적화 챌린지에서 상위권에 오르며 오픈소스 대규모 언어모델(LLM) 최적화 기술력을 입증했다.
AI 모델 경량화 및 최적화 기업 노타는 세계적인 머신러닝 학회 ICML 2026에서 열린 ‘Efficient Qwen Competition’에서 3위를 차지했다고 13일 밝혔다. 이번 대회는 글로벌 AI 개발자들이 널리 활용하는 오픈소스 AI 모델 큐웬(Qwen)을 대상으로 동일한 성능을 유지하면서 추론 속도를 얼마나 높일 수 있는지를 평가하는 기술 경연이다.
노타, 세계적인 머신러닝 학회 ‘ICML 2026’ 챌린지서 3위 (자료 제공: 노타)
AI 답변은 그대로, 속도는 7배…LLM 최적화 경쟁력 입증
대회는 단일 엔비디아 A10G GPU 환경에서 Qwen3.5-4B 모델을 실행해 정확도는 유지하면서 응답 속도를 높이는 기술을 겨뤘다. 전 세계 40여 개 팀이 참가한 가운데 노타는 평균 6.978배 빠른 추론 성능을 기록하며 최종 3위에 올랐다.
노타는 자체 AI 경량화 기술인 양자화(Quantization)와 추측적 디코딩(Speculative Decoding)을 결합해 성능을 높였다. 양자화는 모델의 메모리 사용량과 연산량을 줄이는 기술이며, 추측적 디코딩은 초안 모델이 먼저 답변 후보를 생성한 뒤 본 모델이 이를 검증하는 방식으로 응답 속도를 높인다.
여기에 최근 입력 정보를 중심으로 연산하는 슬라이딩 윈도우 어텐션(Sliding-window Attention) 기법을 적용해 불필요한 연산을 줄이고 추론 효율을 더욱 높였다. 특히 자체 양자화 기술은 후속 학습을 통해 정확도 저하를 최소화하면서도 속도를 개선한 것이 특징이다.
노타는 이번 대회 성과와 함께 ICML AdaptFM 워크숍에서 MoE(Mixture of Experts) 기반 대규모 언어모델 양자화 기술 관련 논문 2편도 채택됐다. 여러 전문가 모델 가운데 필요한 일부만 선택해 실행하는 MoE 구조를 활용해 적은 메모리와 연산 자원으로도 성능 저하를 최소화하는 기술을 제안했다.
회사는 ICML 기간 중 ‘Nota AI – Korea Efficient Days’ 행사도 열어 오픈AI와 구글, 퀄컴 등 글로벌 AI 기업 관계자 및 연구자들과 기술 교류를 진행했다. 노타는 이번 성과를 계기로 온디바이스 AI와 피지컬 AI, LLM 추론 최적화 등 다양한 분야에서 글로벌 기술 협력을 확대해 나갈 계획이다.
The post “속도는 7배, 성능은 그대로”…노타, ICML서 LLM 최적화 기술력 세계 3위 입증 appeared first on 벤처스퀘어.