기업이 AI 애플리케이션과 에이전트를 늘리면 요청량뿐 아니라 관리해야 할 모델도 함께 증가한다. 단순한 분류와 요약까지 고성능 프론티어 모델로 처리하면 추론 비용이 빠르게 커진다. 반대로 개발자가 작업마다 모델의 성능과 가격, 지연시간, 이용 지역을 비교하면 운영 부담이 늘어난다. 스노우플레이크가 요청의 복잡성에 따라 모델을 자동으로 선택하면서 기업의 데이터 정책을 유지하는 AI 게이트웨이 기능을 강화한다.
글로벌 AI 데이터 클라우드 기업 스노우플레이크는 ‘코텍스 AI 게이트웨이(Cortex AI Gateway)’와 주요 AI 제품에 ‘다이나믹 모델 라우팅(Dynamic Model Routing)’ 기능을 도입하고 코텍스 AI에서 사용할 수 있는 오픈 모델을 확대한다.
코텍스 AI 게이트웨이의 신규 기능은 워크로드별로 적합한 모델을 선택해 AI 비용을 절감하고 스노우플레이크 안에서 데이터 거버넌스를 유지하도록 지원한다. (자료 제공: 스노우플레이크)
코텍스 AI 게이트웨이는 기업의 AI 에이전트가 모델과 데이터, 도구, MCP 서버에 접근하는 과정을 중앙에서 관리하는 제어 계층이다. 스노우플레이크가 지난 7월 공개한 코텍스 AI 게이트웨이는 에이전트의 접근 권한과 활동 이력, AI 사용량과 비용을 한곳에서 관리하도록 설계됐다.
기업은 스노우플레이크의 자체 AI 도구뿐 아니라 외부에서 개발한 에이전트가 어떤 모델과 데이터, 도구를 사용할 수 있는지 설정할 수 있다. 요청을 비용과 지연시간, 모델 역량, 데이터 저장 지역 등의 조건에 따라 배분하는 기능도 제공한다.
요청의 난이도에 따라 모델을 바꾸는 게이트웨이
다이나믹 모델 라우팅은 각 요청에 필요한 성능을 분석해 품질과 비용의 균형에 적합한 모델을 자동으로 선택한다. 반복적인 정보 추출과 단순 요약에는 비용 효율적인 모델을 배정하고 복잡한 분석이나 여러 단계의 추론이 필요한 요청에는 고성능 프론티어 모델을 연결하는 방식이다.
사용자가 요청할 때마다 모델을 직접 지정할 필요가 없어지고 개발팀도 여러 모델의 성능과 가격 변화를 지속적으로 비교해 애플리케이션에 반영하는 작업을 줄일 수 있다. 스노우플레이크는 모델의 성능과 가격이 바뀌거나 새로운 모델이 추가되면 라우팅 정책을 갱신해 기존 애플리케이션과 에이전트를 다시 구축하지 않고도 활용할 수 있도록 지원한다.
다이나믹 모델 라우팅은 개발 지원 도구 ‘스노우플레이크 코코(Snowflake CoCo)’와 업무용 AI 에이전트 ‘스노우플레이크 코워크(Snowflake CoWork)’에 적용된다. 코텍스 AI 게이트웨이에 연결된 서드파티 AI 에이전트에서도 이용할 수 있다.
기업 관리자는 사용자가 접근할 수 있는 모델과 제공업체의 범위를 직접 지정할 수 있다. 특정 국가에서 이용 가능한 모델이 다르거나 데이터 이동과 모델 사용에 규제가 적용되는 산업에서는 비용만으로 모델을 선택하지 않고 지역과 보안 정책까지 라우팅 조건에 포함할 수 있다.
스노우플레이크는 이를 기업의 컴퓨팅 자원과 모델, 데이터, 맥락을 측정 가능한 사업 성과로 전환하는 ‘인텔리전스 효율성(Intelligence Efficiency)’이라고 표현한다. AI 사용량 자체보다 같은 품질의 결과를 더 낮은 비용과 적은 운영 부담으로 만드는 데 초점을 맞춘 개념이다.
코텍스 AI의 모델 선택지도 확대한다. 스노우플레이크는 ‘딥시크 V4 플래시 0731(DeepSeek-V4-Flash 0731)’과 ‘GLM-5.3’을 모델 라이브러리에 추가한다. 고객은 거버넌스가 적용된 기업 데이터를 스노우플레이크 환경에서 관리하면서 작업 특성과 비용 기준에 따라 오픈 모델과 상용 모델을 선택할 수 있다.
모델이 늘어날수록 기업에는 선택권이 생기지만 평가와 관리 업무도 복잡해진다. 같은 질문이라도 모델마다 답변 정확성과 처리 속도, 토큰 사용량이 달라질 수 있으며 새로운 버전이 출시되면 기존 평가 결과도 다시 확인해야 한다. 코텍스 AI 게이트웨이는 이러한 비교와 배분을 애플리케이션 외부의 공통 계층에서 처리해 개발팀의 부담을 줄이는 역할을 한다.
슈리다 라마스워미 스노우플레이크 CEO는 “기업들은 갈수록 AI의 경제성을 더 엄격히 평가하고 있다”며 “관건은 얼마나 많은 AI를 사용하느냐보다 AI가 유의미한 비즈니스 가치로 이어지고 있는지에 있다”고 말했다. 이어 “각 작업에 가장 적합한 모델을 유연하게 활용할 수 있도록 기반에서 모델 선택의 복잡성을 처리하겠다”고 덧붙였다.
산지브 모한 산지모 대표 겸 창립자는 “기업이 겪는 어려움은 넘쳐나는 모델 가운데 하나를 고르는 일보다 대규모 환경에서 모든 작업에 맞는 모델을 지속적으로 선택하는 운영 부담”이라며 “새 모델이 출시될 때마다 인프라를 다시 구축하지 않고 워크로드에 맞는 모델을 선택하는 구조가 AI를 대규모로 활용하는 데 필요한 효율성”이라고 말했다.
자동 라우팅의 성과는 저렴한 모델을 얼마나 많이 사용했는지만으로 확인하기 어렵다. 작업별 정답률과 응답 지연시간, 요청당 비용, 오류 발생 시 대체 모델로 전환하는 비율을 함께 측정해야 한다. 어떤 기준으로 모델이 선택됐는지 추적하고 관리자가 결과를 검토할 수 있는 감사 체계도 필요하다. 품질 기준을 유지하면서 비용과 관리 업무를 줄였다는 근거가 축적된다면 코텍스 AI 게이트웨이는 기업의 AI 예산과 모델, 데이터 거버넌스를 연결하는 공통 운영 기반으로 기능할 수 있다.
The post 간단한 요청은 저비용 모델로…스노우플레이크, AI 모델 선택 자동화 appeared first on 벤처스퀘어.