기업의 생성형 AI 활용이 실험 단계를 지나 실제 서비스로 이동하면서 AI 인프라의 과제도 달라지고 있다. 대규모 모델을 얼마나 빠르게 학습시키느냐뿐 아니라 이용자의 추론 요청을 어떤 GPU와 모델에 배분하고, 서비스 과정에서 발생하는 토큰 사용량을 어떻게 관리할지가 운영 효율과 비용을 좌우한다. 여러 모델과 이용자가 동시에 연결되는 AI 팩토리에서는 GPU 자원을 확보하는 것만으로 안정적인 서비스 운영을 담보하기 어렵다. AI 인프라 소프트웨어 기업 래블업이 추론·라우팅 최적화와 토큰 모니터링을 중심으로 AI 팩토리 운영 전략을 제시했다.
래블업(대표 신정규)은 15일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘kt cloud summit 2026’에 참가해 AI 팩토리 운영을 위한 추론·라우팅 최적화와 토큰 모니터링 전략을 발표했다. ‘kt cloud summit’은 AI 데이터센터(AIDC)와 클라우드를 중심으로 기업의 AI 전환(AX)에 필요한 기술과 산업 동향, 적용 사례를 공유하는 kt cloud의 연례 행사다. 올해는 ‘당신의 비즈니스를 위한 AX: AX 실행을 더 쉽게, 비즈니스 확장을 더 빠르게’를 주제로 AI 데이터센터와 클라우드 플랫폼, AI 팩토리, 재해복구(DR), 보안 등 AI 서비스 구축·운영 분야를 다뤘다.
래블업에서는 김준기 최고기술책임자(CTO)가 ‘AIDC & AX Infrastructure’ 트랙 연사로 나서 ‘추론·라우팅 최적화와 토큰 모니터링으로 완성하는 AI 팩토리’를 주제로 발표했다.
김준기 래블업 최고기술책임자(CTO)가 ‘kt cloud summit 2026’에서 AI 팩토리 운영을 위한 추론·라우팅 최적화와 토큰 모니터링 전략을 발표하고 있다. (사진 제공: 래블업)
학습에서 추론으로 이동하는 AI 인프라…운영 효율이 새로운 과제
김 CTO는 AI 서비스 운영 과정에서 발생하는 추론 요청을 효율적으로 처리하기 위한 라우팅 최적화 방안을 소개했다. 대규모 AI 서비스에서는 다양한 모델과 이용자의 요청이 동시에 발생하는 만큼 이를 적절한 인프라 자원에 배분하고 처리하는 운영 기술이 필요하다는 설명이다.
토큰 사용량을 모니터링하는 운영 전략도 제시했다. 실제 AI 서비스를 구축한 뒤에는 모델의 추론 과정에서 발생하는 토큰 사용량을 지속적으로 확인하고 인프라 자원 활용과 서비스 확장에 반영해야 한다. 래블업은 추론 최적화와 토큰 단위의 모니터링을 결합해 AI 인프라의 운영 효율을 높이고 대규모 서비스를 안정적으로 확장하는 AI 팩토리 구현 방향을 공유했다.
KT와 진행해 온 AI 인프라 협력도 이어간다. 래블업은 지난해 KT와 GPU 클라우드 서비스(GPUaaS) 공동개발을 위한 업무협약을 체결하고 기업이 고성능 GPU 자원을 효율적으로 활용할 수 있는 서비스 구축에 협력해왔다. 양사는 GPU 자원 제공을 넘어 실제 AI 서비스 운영과 인프라 효율화 영역으로 기술 협력을 확대할 예정이다.
김준기 래블업 CTO는 “AI 인프라의 무게중심이 대규모 학습에서 추론과 실제 서비스 운영으로 빠르게 이동하면서 다양한 모델과 이용자의 요청을 효율적으로 처리하는 것이 새로운 과제로 떠오르고 있다”며 “기업들이 보다 효율적으로 AI 서비스를 구축하고 확장할 수 있도록 지원하겠다”고 말했다.
The post 래블업, AI 팩토리 병목은 추론에서…라우팅·토큰 운영 전략 공개 appeared first on 벤처스퀘어.