기업이 상담 업무에 여러 AI 에이전트를 투입할수록 모델 호출량과 연산량도 함께 증가한다. 고객 의도 분석과 정보 검색, 답변 생성, 상담 요약, 품질관리까지 각각의 AI가 맡으면 GPU 비용과 메모리 사용량이 빠르게 늘고 응답 속도가 떨어질 수 있다. 모델의 성능만큼 실제 서비스 환경에서 여러 에이전트를 안정적으로 운영하는 기술이 중요해진 배경이다. AI 모델 경량화·최적화 기업 노타가 이 문제를 해결하기 위해 AI 컨택센터 전문기업 메타엠과 첫 상용 프로젝트에 나선다.
노타 x 메타엠 로고 이미지 (자료 제공: 노타)
노타는 메타엠과 ‘차세대 AI 상담체계 구축을 위한 공동 개발 계약’을 체결했다고 13일 밝혔다. 노타가 개별 AI 모델의 경량화를 넘어 여러 AI 에이전트가 작동하는 기업용 운영 인프라에 자체 최적화 기술을 적용하는 첫 상용 사례다.
기업용 AI 시장에서는 단일 챗봇 대신 서로 다른 업무를 맡은 다수의 AI 에이전트가 협업하는 구조가 확산되고 있다. 특히 AI 컨택센터(AICC)는 고객 응대뿐 아니라 상담 기록 요약, 지식관리, 상담 품질 평가 등 반복 업무를 함께 처리할 수 있어 금융·통신·유통·공공 분야의 대표적인 AI 상용화 영역으로 꼽힌다.
다만 대규모 상담센터에서 여러 에이전트를 동시에 운영하면 모델 호출 횟수와 연산량이 늘면서 비용과 서비스 안정성이 새로운 과제로 떠오른다. 제한된 인프라 안에서 응답 지연을 줄이면서도 모델 성능과 정확도를 유지해야 실제 상담 업무에 지속적으로 활용할 수 있다.
상담 업무를 역할별 AI 에이전트로 분담
양사는 노타의 AI 모델 경량화·최적화 및 에이전트 설계 기술에 메타엠의 컨택센터 운영 경험을 결합해 ‘AI 네이티브 멀티 에이전트 상담체계’를 구축한다. 고객 의도 분석과 정보 검색, 응대, 상담 요약, 지식관리, 품질관리 등을 역할별 AI 에이전트가 나눠 수행하고 전문 상담사가 필요한 단계에 참여하는 구조다.
노타는 여러 에이전트를 구동하는 공통 AI 엔진과 에이전트 간 업무를 배분·연결하는 오케스트레이션 기술, 검색증강생성(RAG) 기반 시스템을 개발한다. 거대언어모델과 추론 엔진에는 자체 경량화·최적화 기술을 적용해 성능 저하를 최소화하면서 연산량과 메모리 사용량을 줄일 계획이다.
이를 통해 다수의 AI 에이전트가 동시에 작동하는 상황에서도 일정한 응답 속도를 유지하고, 상담량이 늘어날 때 발생하는 인프라 비용 부담을 낮춘다는 구상이다. 단순히 AI 상담 기능을 추가하는 데 그치지 않고 실제 운영 환경에 맞춰 모델과 추론 시스템을 함께 조정하는 방식이다.
메타엠은 20년 이상 컨택센터를 운영해온 비즈니스 프로세스 아웃소싱(BPO) 기업이다. 금융·유통·제조·플랫폼 등 여러 산업에서 200여 개 고객사의 컨택센터를 운영하고 있다. 이번 프로젝트에서는 상담 업무에서 축적한 도메인 지식을 제공하고 역할별 AI 에이전트의 특화 기능 구현과 AICC 구축·배포·운영을 담당한다.
노타는 이번 계약을 기업용 AI 에이전트 운영 인프라 시장에 진입하는 계기로 삼는다. 상담 분야에서 운영 효율성을 검증한 뒤 제조·금융·공공 등 다수의 AI 에이전트를 활용하는 산업으로 최적화 기술을 적용할 계획이다.
채명수 노타 대표는 “AI 에이전트 시대에는 AI 모델 자체의 성능뿐 아니라 이를 실제 서비스에서 얼마나 빠르고 안정적이며 비용 효율적으로 운영할 수 있는지가 핵심 경쟁력”이라며 “이번 프로젝트는 노타의 기술이 개별 모델 최적화에서 여러 AI 에이전트를 운영하는 인프라 영역으로 확장되는 중요한 이정표”라고 말했다.
임은택 메타엠 대표는 “실제 대규모 상담 환경에서 AI 에이전트를 안정적으로 운영하기 위해 노타의 AI 모델 최적화 기술을 선택했다”며 “추론 비용과 메모리 사용량을 줄이면서 운영 효율성과 고객 경험을 함께 높이는 차세대 상담 서비스를 선보이겠다”고 말했다.
이번 프로젝트의 관건은 역할별 AI 에이전트가 얼마나 다양한 기능을 수행하는지가 아니라, 대규모 상담이 몰리는 환경에서도 비용과 응답 속도, 서비스 품질을 일정하게 유지할 수 있는지에 있다. AI 에이전트의 경쟁이 기능 개발에서 실제 운영 효율로 이동하면서 모델 최적화 기술의 활용 범위도 기업용 AI 인프라 전반으로 이어지고 있다.
The post AI 상담 늘수록 GPU 부담도 커진다…노타, 메타엠과 운영 인프라 최적화 appeared first on 벤처스퀘어.