AI 모델이 커지고 에이전트가 실제 업무에 투입되면서 AI 인프라의 문제도 달라지고 있다. 과거에는 얼마나 많은 GPU를 확보하고 효율적으로 나눠 쓰느냐가 핵심이었다면 이제는 모델을 어디에서 실행할지, 어떤 모델에 요청을 보낼지, 얼마나 많은 토큰을 사용했는지, 에이전트마다 어느 정도의 CPU와 메모리·네트워크 자원을 허용할지까지 함께 관리해야 한다. AI가 산업 현장 깊숙이 들어갈수록 사용자는 더 많은 기술을 알아야 하는 역설이 생긴다. 래블업은 이 복잡성을 인프라 안으로 감추고 AI를 필요한 만큼 측정해 공급하는 쪽에서 다음 시장을 찾고 있다.
AI 인프라 소프트웨어 기업 래블업은 29일 서울 삼성동 코엑스에서 여섯 번째 연례 기술 컨퍼런스 ‘lab | up > /conf/6’를 열었다. 올해 주제는 ‘Make AI Composable²’. NVIDIA, VAST Data, kt cloud, FuriosaAI, Samsung Welstory, RLWRLD, AIM Intelligence, KAIST 등 국내외 기업과 기관이 참여해 인퍼런스와 서빙, AI 에이전트, 플랫폼 엔지니어링, 보안, 데이터 파이프라인, 피지컬 AI 등 실제 AI 운영 과정에서 부딪히는 문제를 다뤘다.
래블업 신정규 대표가 오프닝 키노트 ‘AI 산업 시대의 엔드투엔드에 대하여’에 대해 발표하고 있다.
오프닝 키노트에 나선 신정규 래블업 대표는 AI의 발전 단계를 ‘과학과 공학의 시대’에서 ‘산업의 시대’로 표현했다. 모델 성능 자체를 끌어올리는 경쟁만으로는 부족하고 만들어진 지능을 어떻게 측정하고 필요한 곳에 전달할 것인지가 산업화의 핵심이라는 얘기다.
신 대표는 지난해 같은 자리에서 ‘측정 가능한 지능’을 화두로 제시했다. 기계의 성능을 마력이라는 단위가 등장한 뒤 비교할 수 있었던 것처럼 AI의 지능 역시 측정할 수 있어야 거래하고 공급할 수 있다는 논리였다. 올해 발표에서는 이를 토큰과 전력, 모델 자체의 지능으로 구체화했다. 같은 토큰을 사용하더라도 더 높은 수준의 모델은 더 많은 문제를 해결할 수 있는 만큼 토큰의 양만 세는 것이 아니라 투입된 자원과 실제 수행한 업무를 함께 측정해야 한다는 설명이다.
“AI라는 말 자체가 없어질 가능성이 굉장히 높습니다.”
신 대표는 앞으로 인공지능이 별도의 기술 영역이 아니라 일상적인 ‘지능’으로 받아들여질 가능성을 이렇게 표현했다. 사람이 직접 AI를 사용하는 것뿐 아니라 에이전트가 다른 AI를 호출하고 클러스터를 이용하는 일이 늘어나면 화려한 사용자 화면보다 예측 가능한 인터페이스와 API가 더 중요해진다고 봤다. 래블업이 서로 다른 기술을 결합할 수 있는 ‘Composable’ 구조를 강조하는 배경도 여기에 있다.
토큰도 전기처럼 계량한다…래블업이 그리는 ‘토큰팩토리’
이날 공개한 Continuum Router와 Continuum Hub는 이 구상을 실제 운영 환경으로 옮긴 제품이다. Continuum Router는 OpenAI와 Anthropic, Amazon Bedrock, Gemini 등 외부 API뿐 아니라 기업 내부에서 직접 운영하는 모델까지 하나의 경로에서 연결한다. 요청 특성이나 운영 정책에 따라 적합한 모델로 요청을 보내고 여러 모델의 사용 현황을 함께 관리할 수 있도록 했다.
여기에 Continuum Hub가 토큰 사용량과 정책, 비용을 중앙에서 관리한다. 어느 팀이 어떤 모델을 얼마나 사용했는지 확인하고 사용량과 비용을 계산하는 일종의 AI 계량기다. 신 대표는 “토큰이 전기처럼 사용된다면 계량기가 필요한 상황”이라고 표현했다. 래블업이 지난해 제시한 ‘측정 가능한 지능’을 제품으로 구현한 첫 단계이기도 하다.
이를 래블업은 ‘토큰팩토리(Token Factory)’라는 개념으로 묶었다. 일반 공장에서 제품을 만들고 컨베이어벨트로 이동시키며 물량을 세고 출고하는 것처럼 AI 팩토리에서는 여러 AI 모델을 만들고 서비스하면서 사용량을 관제하고 비용을 계산한 뒤 필요한 곳으로 지능을 공급한다. Backend.AI가 연산 자원을 맡고 Continuum이 모델과 토큰의 흐름을 관제하는 식으로 여러 기술 계층을 연결한다.
행사장에서는 참가자들이 Continuum Router와 Continuum Hub의 주요 기능을 직접 확인할 수 있는 데모도 진행됐다.
에이전트가 일하기 시작하자 GPU 밖에서 병목이 생겼다
이번 발표에서 눈에 띈 변화는 AI 인프라의 관심 범위가 GPU에서 CPU와 네트워크, 스토리지까지 넓어졌다는 점이다. 모델을 학습하거나 추론할 때는 GPU가 핵심 자원이지만 AI 에이전트가 실제 업무를 수행할 때는 상황이 달라진다. 파일을 읽고 코드를 빌드하거나 테스트하고 외부 정보를 수집하는 작업 상당수가 CPU와 메모리, 디스크 I/O, 네트워크를 사용한다.
래블업이 지난해 말부터 대규모 에이전트를 직접 운영하면서 확인한 병목도 CPU와 대역폭이었다. CPU 코어 수가 늘더라도 메모리 대역폭을 여러 코어가 나눠 사용하면서 코어 하나가 실제 사용할 수 있는 읽기·쓰기 성능은 오히려 낮아질 수 있었다. 컨테이너 환경에서는 CPU와 메모리는 비교적 쉽게 나눌 수 있지만 디스크 I/O와 네트워크 대역폭까지 에이전트별로 완전히 격리하기 어렵다는 문제도 나타났다. 한 에이전트가 자원을 집중적으로 사용하면 같은 시스템에서 움직이는 다른 에이전트의 성능까지 떨어질 수 있다는 것이다.
이를 해결하기 위해 진행하는 연구 프로젝트가 ‘누빔’이다. 마이크로VM과 컨테이너를 결합해 VM에서는 에이전트별 자원 총량을 제한하고 컨테이너에서는 프로세스를 분리하는 방식이다. VM의 자원 통제력과 컨테이너의 유연성을 함께 가져가면서 수많은 에이전트가 동시에 작동하는 환경을 만들려는 시도다.
에이전트 관리도 별도의 인프라 문제로 다뤘다. 기업 업무에 AI가 들어오면 반복 작업 하나를 에이전트에 넘기는 데서 끝나지 않는다. 에이전트가 다른 에이전트를 호출하고 여러 도구와 데이터에 접근하기 시작하면서 각각의 런타임과 권한, 보안, 자격증명, 사용 자원, 결과물까지 관리해야 한다.
래블업이 개발 중인 AI 에이전트 플랫폼은 이를 ‘만들고, 돌리고, 다스리고, 평가하는’ 하나의 루프로 연결한다. 에이전트를 만드는 과정과 실행을 자동화하고 중앙에서 거버넌스를 적용한 뒤 Continuum으로 추론과 자원 사용을 최적화한다. 각 에이전트에는 ID를 부여하고 사용하는 도구와 자격증명을 관리한다. 업무 결과를 다시 평가해 플랫폼과 에이전트의 성능 개선에 활용하는 과정도 포함된다.
사람과 AI의 역할도 이 과정에서 달라진다. 반복되는 업무는 점차 에이전트가 맡고 사람은 목표를 정하거나 중요한 판단을 내리는 쪽으로 이동한다. 하나의 AI를 잘 만드는 것보다 여러 에이전트가 필요한 자원과 모델을 안정적으로 사용하고 서로 협업할 수 있는 운영 기반이 중요해지는 이유다.
‘AI 병목을 해결하는 인퍼런스 최적화’ 패널 토크. (왼쪽부터) 노정석 비팩토리 대표, 김준기 래블업 CTO, 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO
이날 ‘AI 병목을 해결하는 인퍼런스 최적화’ 패널 토크에서는 노정석 비팩토리 대표가 진행을 맡고 김준기 래블업 CTO, 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO가 참여했다. AI 반도체와 모델 개발, 모델 최적화, 인프라 오케스트레이션 등 서로 다른 영역에서 추론 과정의 병목을 줄이는 방법을 논의했다.
신 대표가 이날 여러 제품과 연구 프로젝트를 관통해 반복한 문제는 결국 ‘복잡성’이었다. AI 모델이 늘고 이를 구동하는 반도체와 클러스터가 다양해지는 데 이어 에이전트까지 기업 업무에 들어오면서 AI 인프라는 사람이 일일이 관리하기 어려울 정도로 여러 계층이 겹쳐지고 있다.
래블업은 반대로 사용자가 마주하는 운영 과정은 더 단순해져야 한다고 본다. 신 대표는 발표를 마치며 “갈수록 복잡해지는 AI 그리고 AI 인프라 운영을 간단하게 가져오면서 그 과정에서 계량하고 배달하는 일을 더 간단하게 해보자”고 말했다. 지난해 내놓은 향후 10년의 비전인 ‘인류를 위한 지능의 민주화’ 역시 이 방향의 연장선에 놓여 있다.
AI가 얼마나 많은 지능을 만들어낼 수 있는지보다 필요한 지능을 얼마나 쉽게 측정하고 필요한 곳에 전달할 수 있는지가 다음 인프라 경쟁의 과제가 됐다. 래블업은 Backend.AI에서 시작한 GPU 인프라 운영을 모델 서빙과 토큰 관제, 에이전트 실행·관리까지 연결하면서 그 범위를 넓히고 있다. AI는 갈수록 복잡해지지만 이를 사용하는 과정만큼은 단순하게 만들겠다는 것이 여섯 번째 컨퍼런스에서 신 대표가 꺼낸 답이었다.
The post “AI는 복잡해져도 쓰는 건 단순해야”…신정규 래블업 대표가 그리는 ‘지능의 인프라’ appeared first on 벤처스퀘어.