소버린 AI 경쟁이 모델 개발을 넘어 AI 인프라 경쟁으로 확대되고 있다. 초거대 언어모델의 성능만큼 이를 얼마나 적은 비용과 높은 효율로 운영할 수 있는지가 핵심 경쟁력으로 떠오르면서 국산 AI 반도체와 AI 모델을 결합한 실증 사례도 늘어나고 있다.
AI 반도체 기업 리벨리온은 SK텔레콤의 초거대 AI 파운데이션 모델 ‘A.X K1’을 자체 AI 서버에서 안정적으로 구동하고, 이를 기반으로 다중 사용자를 지원하는 AI 에이전트 서비스 실증을 완료했다고 23일 공개했다.
A.X K1 데모 영상 스크린샷 (자료 제공: 리벨리온)
국산 NPU로 5,000억 개 이상 파라미터 모델 운영
이번 실증은 SK텔레콤의 초거대 언어모델과 리벨리온의 AI 반도체 및 소프트웨어를 결합해 AI 인프라 운영 효율을 높인 것이 핵심이다.
리벨리온은 5,000억 개 이상의 파라미터를 갖춘 초거대 모델을 자사 AI 서버 ‘리벨서버(RebelServer)’에서 안정적으로 구동했다. 회사는 단일 서버 구성만으로 글로벌 고성능 GPU 서버 수준의 AI 추론 인프라를 구현해 데이터센터 구축과 운영 비용을 줄일 수 있다고 설명했다.
이 같은 성과는 K1이 채택한 MoE(Mixture of Experts) 구조와 리벨리온의 소프트웨어 최적화 기술이 결합된 결과다. 리벨리온은 다양한 연산을 병렬로 분산 처리하는 기술을 적용해 하나의 서버에서도 여러 사용자의 요청을 실시간으로 처리할 수 있도록 구현했다.
리벨리온은 단순히 모델을 실행하는 데 그치지 않고 지도(Map) 기반 AI 에이전트 서비스도 함께 시연했다.
여러 사용자가 동시에 접속해 서로 다른 질문을 입력하더라도 병목 현상 없이 결과를 실시간으로 지도에 표시하는 방식이다. 회사는 이를 통해 국산 AI 모델과 국산 NPU만으로도 공공 서비스와 같은 대규모 AI 에이전트 서비스를 안정적으로 운영할 수 있는 가능성을 확인했다고 평가했다.
리벨리온은 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 사업에서 SK텔레콤 컨소시엄에 참여해 국산 NPU 기반 AI 인프라를 구축하고 있다. 또한 ‘에이닷 전화 통화요약’ 등 대규모 실시간 AI 서비스를 약 1년간 운영한 경험을 바탕으로 정부의 AI 인프라 확대 정책에도 참여할 계획이다.
박성현 리벨리온 대표는 “국산 초거대 AI 모델과 국산 NPU만으로 대규모 AI 서비스를 운영할 수 있다는 점을 확인한 사례”라며 “앞으로도 누구나 일상에서 활용할 수 있는 한국형 AI 인프라 구축을 확대해 나가겠다”고 말했다.
The post 국산 AI만으로 초거대 모델 돌렸다… 리벨리온, SKT ‘A.X K1’ 실증 성공 appeared first on 벤처스퀘어.