생성형 AI가 스마트폰과 로봇, 산업기기 등 다양한 디바이스로 확산되면서 제한된 하드웨어에서도 AI를 효율적으로 구동하는 최적화 기술의 중요성이 커지고 있다. 노타는 개발자들이 실제 온디바이스 환경에서 AI 모델 최적화 역량을 겨룰 수 있는 경진대회를 열고 AI 최적화 생태계 확대에 나섰다.
AI 모델 경량화 및 최적화 전문기업 노타는 제주에서 열린 한국컴퓨터종합학술대회(KCC 2026)에서 ‘넷츠프레소와 함께하는 온디바이스 AI 최적화 경진대회’를 개최했다고 밝혔다.
KCC2026, 온디바이스 AI 경진대회 (사진 제공: 노타)
실제 디바이스 환경에서 AI 성능 극대화 경쟁
이번 대회는 노타의 AI 모델 최적화 플랫폼 ‘넷츠프레소(NetsPresso)’를 활용해 온디바이스 환경에서 AI 모델의 실행 효율을 높이는 것을 목표로 진행됐다. 넷츠프레소는 다양한 하드웨어 환경에 맞춰 AI 모델을 최적화해 제한된 연산 자원에서도 안정적인 성능을 구현하도록 지원하는 플랫폼이다.
최근 생성형 AI가 모바일과 엣지 디바이스, 산업 현장으로 빠르게 확산되면서 AI 모델을 실제 실행 환경에 맞게 경량화하고 최적화하는 기술의 중요성이 커지고 있다. 퀄컴의 AI 기업 모듈러(Modular) 인수 역시 이러한 흐름을 보여주는 사례로 평가된다.
참가자들은 노타가 제공한 기본 AI 개발 환경을 바탕으로 온디바이스 환경에서 AI 모델이 더욱 빠르고 가볍게 실행될 수 있도록 성능 개선 과제를 수행했다.
우승은 중앙대학교 ‘에코프루너’팀이 차지했으며, 성균관대학교 ‘팀 아이리스’가 최우수상을, ‘DKE’와 ‘감자밭’이 우수상을 각각 수상했다.
우승팀인 에코프루너는 소형 디바이스에서 대규모언어모델(LLM)을 보다 효율적으로 실행하는 최적화 기법을 제안했다. AI 모델의 토큰당 응답 지연시간을 약 6.7배 개선하고 첫 응답 생성 시간은 약 4배 단축했으며, 메모리 사용량은 약 85% 줄이면서도 기존 수준의 품질을 유지해 높은 평가를 받았다.
노타는 경진대회와 함께 KCC 2026 현장에서 채용 부스를 운영하고 AI 최적화 특별 강연도 진행했다. 행사 기간 동안 온디바이스 AI와 AI 최적화 기술에 관심을 가진 연구자와 개발자들이 부스를 찾았으며, 노타는 다양한 부대 행사를 통해 개발자 커뮤니티와의 접점을 확대했다.
김태호 노타 CTO 겸 공동창업자는 “이번 경진대회는 참가자들이 넷츠프레소를 기반으로 AI 최적화 전 과정을 직접 경험하고 실제 실행 환경에서 의미 있는 성능 개선을 이끌어냈다는 점에서 의미가 크다”며 “앞으로도 다양한 하드웨어 환경에서 AI 모델을 더욱 쉽고 효율적으로 최적화할 수 있도록 지원하며 온디바이스 AI 생태계 확산에 기여하겠다”고 말했다.
The post “AI는 가볍게, 성능은 더 강하게”…노타, 온디바이스 AI 최적화 개발자 생태계 키운다 appeared first on 벤처스퀘어.