생성형 AI 도입 초기의 관심은 더 많은 업무에 더 성능이 높은 모델을 적용하는 데 집중됐다. 최근에는 고성능 모델에 토큰을 적극적으로 투입하는 ‘토큰맥싱(Tokenmaxxing)’이라는 표현까지 등장했다. 그러나 AI 에이전트와 로봇, 각종 디바이스가 사람의 개입 없이 24시간 API를 호출하기 시작하면서 비용을 언제, 어떻게 통제할 것인지가 새로운 운영 과제로 떠올랐다. 오류가 발생한 호출이 반복되거나 같은 요청이 중복 처리되면 월말 청구서를 확인하기 전까지 비용 증가를 알아채기 어려울 수 있다. 데이터 파운드리 기업 바운드포가 AI 요청이 실행되기 전에 예산 초과를 막는 토큰 지출 관리 서비스를 내놨다.
바운드포는 자사 AI 데이터 운영 플랫폼 ‘드로파이(DroPai)’에 AI 토큰 지출 관리 서비스 ‘파레토(Pareto)’를 추가했다. 파레토는 AI API 사용량과 비용을 확인하는 기능에 예산 정책과 실행 차단 기능을 결합한 서비스다.
바운드포, AI 토큰 지출 관리 서비스 ‘파레토’ 출시 (자료 제공: 바운드포)
기업이 여러 생성형 AI 모델과 API를 함께 사용하면 서비스별 요금체계와 토큰 단가, 호출 방식이 달라 전체 지출을 실시간으로 파악하기 어렵다. 부서와 프로젝트마다 사용하는 모델이 달라질 경우 어떤 업무에서 비용이 증가했는지 확인하는 과정도 복잡해진다.
특히 AI 에이전트는 하나의 업무를 완료하기 위해 여러 모델과 외부 도구를 순차적으로 호출할 수 있다. 로봇과 디바이스 역시 센서 데이터를 해석하고 행동을 결정하는 과정에서 AI API를 반복적으로 사용한다. 사람의 근무 시간과 관계없이 시스템이 계속 작동하기 때문에 작은 설정 오류나 반복 호출도 누적되면 예상보다 큰 지출로 이어질 수 있다.
파레토는 관리자가 설정한 예산 한도를 AI API 호출 과정에 적용한다. 요청을 실행할 경우 정해진 한도를 초과하게 되면 해당 호출을 사전에 차단하고, 팀별 사용 현황과 예상 지출을 실시간으로 제공한다. 기업은 부서와 프로젝트, 자동화 시스템별로 사용량을 확인하면서 정해진 예산 범위 안에서 AI 서비스를 운영할 수 있다.
재시도·중복 호출·과사양 모델에서 비용 원인 찾는다
파레토가 강조하는 차이는 비용 관리 시점이다. 기존의 ‘사후 관측(Observability)’이 이미 사용된 토큰과 청구 금액을 분석하는 방식이라면, 파레토는 기업이 정한 예산과 정책을 호출 단계에 적용하는 ‘사전 통제(Control)’에 초점을 맞췄다.
예산 초과 요청을 막는 것과 함께 월 단위 사용 데이터도 분석한다. 실패한 API 호출이 계속 반복되면서 비용을 만드는 ‘재시도 누적’, 사실상 동일한 작업을 여러 차례 처리하는 ‘중복 요청’, 비교적 가벼운 모델로 처리할 수 있는 작업에 고성능 모델을 투입하는 ‘과사양 모델 사용’ 등을 탐지한다.
분석 결과는 절감 가능한 영역을 확인할 수 있는 리포트로 제공된다. 기업은 이를 바탕으로 오류가 반복되는 워크플로우를 수정하거나 중복 호출을 제거하고, 작업의 난도와 목적에 따라 사용할 AI 모델을 조정할 수 있다.
서비스명 ‘파레토’는 전체 결과의 상당 부분이 소수의 원인에서 발생한다는 ‘파레토 법칙(Pareto Principle)’에서 가져왔다. 바운드포는 AI 토큰 비용 역시 모든 요청에서 고르게 증가하기보다 일부 반복 호출과 고비용 모델 사용에 집중될 수 있다는 점을 이름에 반영했다.
파레토는 바운드포가 피지컬 AI 현장에서 겪은 비용 관리 문제를 해결하는 과정에서 개발됐다. 로봇과 디바이스가 지속적으로 AI를 호출하는 환경을 운영하며 예산 통제와 사용 패턴 분석 구조를 구축했고, 이를 별도 서비스로 제품화했다. 이번 기능 추가로 드로파이는 AI 데이터 운영과 토큰 지출 관리를 함께 지원하게 됐다.
황인호 바운드포 대표는 “파레토는 피지컬 AI 현장에서 바운드포가 직접 겪은 문제를 해결하는 과정에서 탄생한 서비스”라며 “로봇과 디바이스가 24시간 AI를 호출하는 환경에서는 비용을 사후에 분석하는 방식만으로 한계가 있었다”고 말했다. 이어 “현장에서 검증한 운영 경험을 서비스로 고도화해 AI 데이터 관리부터 비용 통제까지 기업의 AI 운영 전반을 지원하겠다”고 덧붙였다.
AI가 업무를 보조하는 단계에서 에이전트와 장비가 스스로 API를 호출하는 단계로 넘어가면 비용 관리는 월별 정산보다 시스템 운영 정책에 가까워진다. 파레토의 경쟁력은 예산을 차단하는 기능 자체보다 필요한 호출과 낭비성 호출을 얼마나 정확하게 구분하고, 여러 모델의 서로 다른 요금체계를 일관된 기준으로 관리하는지에 달렸다. 비용 통제가 서비스 응답 속도나 업무 연속성을 해치지 않으면서 실제 지출 절감으로 이어지는지도 향후 도입 성과를 판단하는 기준이 될 전망이다.
The post “월말 청구서 보고 놀라는 시대 끝”…바운드포, AI 비용 폭주 막는 ‘파레토’ 공개 appeared first on 벤처스퀘어.