인공지능(AI) 모델의 경쟁력은 개발 단계의 성능뿐 아니라 실제 이용자의 요청을 얼마나 빠르고 안정적으로 처리하는지에 따라서도 달라진다. 특히 글로벌 서비스에서는 국가별로 이용량이 다르고 신규 모델 출시나 프로모션에 따라 트래픽이 급증할 수 있어 이를 감당할 추론 인프라가 중요하다. 국내에서 개발한 대규모언어모델(LLM)이 해외 이용자를 확보하려면 모델 개발 역량과 함께 글로벌 GPU 자원과 추론 운영 기술이 뒷받침돼야 한다. 네오클라우드 기업 베슬AI는 업스테이지의 ‘솔라 프로4’에 글로벌 추론 인프라를 제공하며 국산 AI 모델의 해외 서비스 운영을 지원했다.
베슬AI(VESSL AI, 대표 안재만)는 업스테이지의 LLM ‘솔라 프로4(Solar Pro 4)’에 글로벌 인퍼런스(Inference·추론) 인프라를 제공하고, 자체 최적화 기술을 통해 처리 속도와 운영 비용을 개선했다.
베슬AI가 업스테이지의 LLM ‘솔라 프로4’에 글로벌 추론 인프라를 제공했다. (자료 제공: 베슬AI)
솔라 프로4는 지난 9월 글로벌 LLM 마켓플레이스 오픈라우터(OpenRouter)에서 사용량 3위에 올랐다. 해당 순위는 오픈라우터 플랫폼에서 집계한 실제 이용량을 기준으로 한 것으로, 전체 글로벌 LLM 시장의 점유율이나 모델 성능 순위를 의미하지는 않는다.
베슬AI는 해당 기간 솔라 프로4의 글로벌 서빙을 담당하며 전 세계 이용자들의 추론 요청을 처리했다. 회사가 공개한 자료에 따르면 솔라 프로4의 일일 토큰 처리량이 80억 개에서 1550억 개로 증가하는 과정에서 글로벌 추론 인프라를 제공했다.
토큰은 AI 모델이 텍스트를 처리하는 기본 단위다. 일일 처리 토큰 수가 증가한다는 것은 모델에 입력되거나 생성되는 텍스트의 처리 규모가 커졌다는 의미다. 다만 토큰 처리량은 실제 이용자 수나 요청 건수와 동일한 지표는 아니다.
AI 인퍼런스는 학습을 마친 모델이 실제 서비스 환경에서 이용자의 입력을 받아 결과를 생성하는 과정이다. 모델의 크기와 요청량, 응답 길이 등에 따라 필요한 GPU 자원과 처리 시간이 달라진다.
특히 글로벌 서비스에서는 여러 지역의 이용자가 동시에 요청을 보내기 때문에 수요 변화에 맞춰 연산 자원을 확보하고 운영하는 능력이 중요하다.
베슬AI는 이를 위해 업스테이지와 모델 출시 및 프로모션 일정, 예상 이용량을 공유하고 필요한 추론 용량을 사전에 설계했다.
캐시·양자화 최적화로 처리 속도 개선…토큰당 비용 최대 절반으로
베슬AI가 솔라 프로4의 글로벌 서비스를 지원하는 데 활용한 기반은 한국과 유럽, 미국 등 여러 지역에 구축한 GPU 클러스터와 자체 인퍼런스 엔진 최적화 기술이다.
회사는 모델 특성과 실제 이용 패턴에 맞춰 GPU 자원을 구성하고 추론 엔진을 조정했다. 이를 통해 동일한 인프라에서 더 많은 요청을 처리하면서 토큰당 운영 비용을 낮추는 데 집중했다.
주요 최적화 기술에는 캐시 히트율 개선과 모델 양자화, 추론 속도 향상 기술이 포함됐다.
캐시 히트율은 이전에 처리한 연산 결과 등을 재사용할 수 있는 비율을 의미한다. 반복되는 연산을 줄이면 GPU 자원 사용량을 낮추고 응답 처리 효율을 높이는 데 도움이 된다.
모델 양자화는 AI 모델의 연산에 사용하는 수치의 정밀도를 조정해 메모리 사용량과 연산 부담을 줄이는 기술이다. 모델의 특성과 적용 방식에 따라 추론 성능과 자원 효율을 개선할 수 있다.
베슬AI에 따르면 이러한 기술을 적용한 결과 엔드포인트 도입 전후 비교에서 추론 처리 속도가 평균 2배, 최대 3배 향상됐다.
또한 캐시 활용 효율을 높여 토큰당 비용을 최대 50% 절감했다. 해당 수치는 회사가 제시한 최적화 결과로, 모든 모델이나 서비스 환경에서 동일한 개선 폭이 보장되는 것은 아니다.
이번 협력에서 베슬AI는 GPU 자원을 공급하는 역할을 넘어 예상 수요에 따른 용량 설계와 추론 엔진 최적화, 글로벌 서빙 운영까지 담당했다.
이를 통해 업스테이지는 모델 개발과 서비스 확대에 집중하고 베슬AI는 실제 이용량 변화에 대응하는 인프라 운영을 맡는 협력 구조를 구축했다.
안재만 베슬AI 대표는 “이번 협력은 한국에서 개발한 모델의 글로벌 성과를 한국 네오클라우드의 인프라로 뒷받침했다는 점에서 의미가 크다”며 “축적한 인퍼런스 운영 경험을 바탕으로 모델 제공자가 연구와 제품 개발에 집중할 수 있는 환경을 제공하고, 기업의 안정적인 오픈소스 모델 도입을 지원하는 인퍼런스 프로바이더로서 역량을 강화하겠다”고 말했다.
한편 베슬AI는 최근 SK바이오팜에 AI 연구개발용 GPU 인프라를 공급했으며 네오AI와 포항 AI데이터센터의 GPU 플랫폼 구축·운영을 위한 협약을 체결했다.
베슬AI는 이러한 기업용 GPU 인프라 사업에 솔라 프로4의 글로벌 추론 운영 경험을 더해 AI 모델 제공사를 대상으로 한 인퍼런스 서비스 사업을 강화할 방침이다.
The post 베슬AI, 업스테이지 ‘솔라 프로4’ 글로벌 추론 맡았다…하루 1550억 토큰 처리 뒷받침 appeared first on 벤처스퀘어.