AI 모델 경쟁이 실제 서비스 경쟁으로 넘어가면서 모델을 얼마나 빠르고 효율적으로 추론하고 여러 GPU와 서비스를 안정적으로 운영하느냐가 AI 인프라의 핵심 과제로 떠오르고 있다. 모델 하나의 추론 성능을 높이는 것에서 출발해 고객사별로 다른 인프라에 플랫폼을 구축하고 여러 모델의 요청과 토큰 사용량까지 관리해야 하는 단계로 운영 범위도 넓어졌다. 이에 AI 인프라 기업들은 자체 기술뿐 아니라 실제 구축 과정에서 축적한 운영 경험을 글로벌 고객과 공유하며 시장 접점을 확대하고 있다. 래블업이 추론 엔진부터 대규모 AI 인프라 운영까지 기술 스택을 단계별로 다룬 첫 글로벌 웨비나를 마쳤다.
AI 인프라 소프트웨어 기업 래블업(대표 신정규)은 해외 고객과 파트너를 대상으로 진행한 글로벌 웨비나 시리즈 ‘AI Scale Talks’를 마무리했다. ‘AI Scale Talks’는 래블업이 보유한 AI 인프라 기술과 실제 구축·운영 경험을 해외 고객과 파트너에게 공유하기 위해 마련한 첫 글로벌 웨비나 시리즈로‘From Cell to Factory’를 주제로 8월 27일부터 9월 17일까지 매주 한 차례씩 총 4회 진행했다.
래블업이 해외 고객과 파트너를 대상으로 첫 글로벌 웨비나 시리즈 ‘AI Scale Talks’를 진행했다. (자료 제공: 래블업)
각 회차는 개별 AI 추론 기술에서 시작해 대규모 AI 인프라를 운영하는 과정으로 범위를 확장하는 방식으로 구성했다. 첫 회에서는 래블업이 오픈소스로 공개한 고성능 LLM·VLM 추론 엔진 ‘MLxcel’을 소개했다.
두 번째 회차에서는 대규모언어모델(LLM)의 추론 비용과 속도를 개선하기 위한 기술을 다뤘다. KV 캐싱(KV Caching)과 양자화(Quantization), 투기적 디코딩(Speculative Decoding) 등 주요 추론 최적화 기법과 래블업의 실험 결과를 공유했다.
모델 하나 빠르게 돌리는 데서 여러 AI 서비스 운영·관리로
세 번째 회차에서는 실제 고객사의 AI 인프라 구축 경험에 초점을 맞췄다. 고객마다 다른 네트워크 구조와 보안 정책, 하드웨어 환경에 AI 플랫폼을 구축하고 운영하면서 확보한 경험과 고려 사항을 소개했다.
마지막 회차에서는 AI 모델이 늘어났을 때 요청과 자원을 어떻게 관리할 것인지로 주제를 확장했다. 여러 AI 모델과 서비스 사이에서 요청을 분배하는 ‘컨티넘 라우터(Continuum Router)’와 여러 라우터의 토큰 사용량과 운영 정책, 과금을 중앙에서 관리하는 ‘컨티넘 허브(Continuum Hub)’를 소개했다.
이를 통해 개별 모델의 추론 성능 최적화에서 시작해 기업별 AI 플랫폼 구축, 다수 모델의 요청 분배와 토큰 사용량 관리까지 AI 인프라가 확장되는 과정에 필요한 기술과 운영 경험을 한 시리즈에 담았다.
래블업은 이번 웨비나를 시작으로 해외 고객과 파트너를 대상으로 한 기술 커뮤니케이션도 확대한다. 향후 글로벌 파트너와 공동 웨비나 등을 추진하며 AI 인프라 구축·운영 사례와 기술을 지속적으로 공유할 예정이다. 이번 ‘AI Scale Talks’의 각 회차 영상은 래블업 공식 유튜브 채널 ‘Lablup Talks’ 재생목록에서 다시 볼 수 있다.
신정규 래블업 대표는 “이번 웨비나는 해외 고객과 파트너를 대상으로 래블업의 AI 인프라 기술과 구축·운영 경험을 직접 소개한 첫 번째 글로벌 웨비나”라며 “앞으로도 글로벌 파트너들과 공동 웨비나를 비롯한 기술 교류를 이어가며 래블업의 기술력과 AI 인프라 운영 노하우를 글로벌 시장에 알려 나가겠다”고 말했다.
The post 래블업, AI 추론 엔진에서 토큰 과금까지…첫 글로벌 웨비나서 인프라 운영 기술 공유 appeared first on 벤처스퀘어.