AI 에이전트는 정보를 안내하는 수준을 넘어 예약과 결제, 배차처럼 외부 서비스에서 직접 행동하는 단계로 진입하고 있다. 에이전트의 판단 오류는 실제 거래나 일정의 오작동으로 이어질 수 있다. 최종 답변의 정확도뿐 아니라 어떤 계획을 세우고 어떤 도구를 호출했는지까지 확인하는 검증 방식이 필요한 이유다. 크라우드웍스가 AI 에이전트의 자율 실행 과정을 평가하는 한국형 데이터셋 구축을 맡는다.
AI 테크 기업 크라우드웍스는 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 발주한 ‘AI 에이전트 안전·신뢰성 검증 체계 지원’ 사업을 수주했다고 3일 발표했다.
크라우드웍스 로고 (자료 제공: 크라우드웍스)
이번 사업은 기존 AI 평가 체계가 최종 답변의 정확도에 집중하면서 에이전트의 계획 수립과 외부 도구 호출 과정까지 검증하기 어려웠던 한계를 보완하기 위해 추진된다. 국제 표준을 준수하면서 국내 서비스 환경을 반영한 평가 기준을 만들고 현장 적용을 거쳐 민간 AI 신뢰성 인증과 연계한다.
사업은 슈어소프트테크가 주관하며 크라우드웍스와 한국과학기술원(KAIST), 한국인공지능산업협회가 컨소시엄으로 참여한다. 개발 및 검증 체계 구축은 올해 말까지 마무리한다.
도구 호출 순서까지 평가하는 한국형 데이터 구축
크라우드웍스는 다단계 추론 시나리오와 한국형 검증 데이터셋 구축을 주도한다. AI가 생성한 최종 답변과 함께 답변을 도출하는 과정의 논리적 타당성을 평가할 수 있는 데이터 기반을 마련한다.
평가 시나리오는 다양한 MCP 도구와 외부 API를 순차 또는 병렬로 호출해야 해결할 수 있도록 설계한다. 과업의 복잡도에 따라 난이도를 구분해 에이전트가 적절한 도구를 선택하고 올바른 순서로 실행하는지 확인한다.
데이터셋에는 국내 서비스와 이용 환경에 특화된 맥락을 반영한다. 정보가 자주 바뀌는 동적 데이터도 포함해 변동성이 있는 상황에서 에이전트가 최신 조건을 토대로 판단하는지 검증한다. 크라우드웍스가 구축하는 데이터는 7,000건 이상이다.
검증 체계가 마련되면 AI 에이전트가 예약과 결제, 배차 등의 과업을 수행하는 과정에서 발생할 수 있는 오작동을 사전에 점검할 수 있다. 기업이 에이전트 서비스를 도입할 때 안전성과 신뢰성을 판단할 수 있는 한국형 평가 기준으로도 활용된다.
크라우드웍스는 2017년 설립 이후 네이버와 LG, KT 등 600개 이상의 기업에 데이터 솔루션을 공급했다. 네이버 하이퍼클로바X와 LG AI연구원 엑사원, KT 믿음 등 국내 대규모언어모델의 학습 데이터 구축에도 참여했다. 2023년 8월 코스닥에 상장했으며 최근 에이전틱 AI와 로보틱스, 자율주행 등 피지컬 AI 분야로 데이터 기술 적용 범위를 확장하고 있다.
크라우드웍스 관계자는 “모델 고도화만큼이나 에이전트 실행 과정의 안전성과 신뢰성 검증이 AI 산업의 필수 거버넌스로 떠올랐다”며 “고품질 데이터 구축 노하우와 평가 역량을 바탕으로 국내 AI 에이전트 생태계의 신뢰도를 높이고 글로벌 수준에 부합하는 한국형 검증 표준을 정립하는 데 기여하겠다”고 말했다.
The post 예약·결제하는 AI, 답보다 과정 검증…크라우드웍스 7,000건 데이터 구축 appeared first on 벤처스퀘어.