기업들이 생성형 AI와 AI 에이전트 도입을 확대하면서 성능 못지않게 운영 비용과 인프라 효율성이 핵심 경쟁력으로 떠오르고 있다. 특히 수천억 개의 매개변수를 가진 초거대 언어모델은 높은 성능을 제공하는 대신 GPU와 메모리 비용이 커 실제 기업 환경에 적용하기 어렵다는 한계가 있었다. 이에 AI 모델을 얼마나 효율적으로 경량화하고 최적화하느냐가 기업 AI 전환(AX)의 중요한 과제로 부상하고 있다.
AI 모델 경량화 및 최적화 기술 기업 노타는 정부 독자 AI 파운데이션 모델 프로젝트에서 업스테이지와 함께 개발한 ‘솔라 오픈2(Solar Open 2)’ 전용 경량화 모델을 공개했다. 이번 모델은 대규모 AI를 실제 기업 환경에서도 운영할 수 있도록 최적화하는 데 초점을 맞췄다.
노타 솔라 오픈2 모델 전용 경량화 적용 결과 (사진 제공: 노타)
메모리 76.5% 줄여…초거대 AI 운영 문턱 낮춰
솔라 오픈2는 문서 작성과 코딩, 툴 호출, 다단계 추론 등 기업 업무에 활용되는 AI 에이전트 구현을 목표로 개발된 초거대 언어모델이다. 전체 2500억 개의 매개변수를 갖고 있지만 실제 연산에서는 필요한 150억 개만 활성화하는 MoE(Mixture of Experts) 구조를 적용해 연산 효율을 높였다.
노타는 여기에 데이터 기반 MoE 양자화(PASCAL-MoE), 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 기술을 적용해 모델을 경량화했다. 단순히 모델 크기를 줄이는 데 그치지 않고, AI 에이전트의 핵심 기능인 툴 호출 성능을 유지하면서 실제 기업 환경에 적합한 형태로 최적화를 진행한 것이 특징이다.
최적화 결과도 눈에 띈다. 모델 가중치 메모리는 기존 500.6GB에서 117.8GB로 약 76.5% 줄었고, 기존에는 NVIDIA H100 GPU 8장이 필요했던 모델을 GPU 2장만으로도 구동할 수 있게 됐다. 기업 입장에서는 동일한 AI 서비스를 보다 적은 인프라로 운영할 수 있어 구축과 운영 비용을 크게 절감할 수 있는 셈이다.
노타는 이번 기술이 초거대 AI 모델의 성능을 유지하면서도 기업이 현실적인 비용으로 AI를 도입할 수 있도록 돕는 데 의미가 있다고 보고 있다. 앞으로도 모델 구조와 하드웨어 환경에 맞춘 양자화와 경량화 기술을 지속적으로 고도화해 기업들의 AI 도입 장벽을 낮춘다는 방침이다.
공개된 솔라 오픈2 전용 경량화 모델은 글로벌 AI 플랫폼 허깅페이스(Hugging Face)를 통해 사용할 수 있다.
AI 에이전트 확산과 함께 기업들은 이제 모델 성능뿐 아니라 운영 효율과 비용까지 함께 고려해야 하는 단계에 접어들고 있다. AI 모델 경량화 기술은 기업 AX를 현실화하는 핵심 인프라 기술로 중요성이 더욱 커질 전망이다.
The post GPU 8장이 2장으로…노타, 초거대 AI 경량화로 기업 AX 비용 낮춘다 appeared first on 벤처스퀘어.