AI 서비스가 질문에 답하는 도구에서 예약과 전화, 공공업무를 직접 수행하는 비서로 이동하고 있다. 이용자를 대신해 행동하는 기능이 늘수록 개인정보 유출과 프롬프트 공격, 정책 위반을 사전에 통제하는 장치도 중요해진다. 서비스 출시 전 공격 가능성을 점검하는 레드티밍과 운영 과정에서 위험한 행동을 차단하는 가드레일이 함께 필요한 배경이다. 에임인텔리전스가 SK텔레콤 컨소시엄의 AI 보안 파트너로 정부 ‘모두의 AI’ 프로젝트에 참여한다.
AI 보안 기업 에임인텔리전스(AIM-Intelligence)는 SK텔레콤이 주관하는 컨소시엄에 합류해 ‘모두의 AI’ 서비스의 안전성 강화에 협력한다.
‘모두의 AI’ SKT 컨소시엄 합류 (자료 제공: 에임인텔리전스)
에임인텔리전스는 컨소시엄에서 AI 레드티밍과 AI 가드레일 기술을 지원한다. AI 에이전트가 서비스를 운영하는 과정에서 발생할 수 있는 위험을 사전에 탐지하고 통제하는 보안 체계를 구축하는 역할이다.
AI 레드티밍은 실제 공격과 유사한 방식으로 서비스의 취약점과 오작동 가능성을 점검하는 과정이다. AI 가드레일은 모델의 입력과 출력, 실행 과정에 기준을 적용해 허용되지 않은 요청이나 행동을 통제하는 기술이다.
에임인텔리전스는 개인정보 유출과 정책 위반, 프롬프트 공격, 비정상 행동 등을 주요 위험요소로 설정한다. 서비스가 이용자의 요청을 이해하고 외부 기능을 실행하는 과정에서 이러한 위험이 발생하지 않도록 보안 체계를 적용한다.
챗봇에서 에이전트·피지컬 AI까지 검증 범위 확대
SK텔레콤 컨소시엄은 이용자의 질문에 답하는 챗봇 기능과 함께 실제 행동을 수행하는 AI 서비스를 구현한다. 예약과 전화, 공공업무 등 일상적인 과업을 처리하는 ‘실행형 AI 비서’로 서비스를 구성한다는 구상이다.
에임인텔리전스는 실행형 서비스의 특성을 반영해 AI 에이전트 기능을 지속적으로 검증할 수 있는 체계를 마련한다. 서비스 운영 중 새롭게 발생하는 공격과 오작동 위험을 점검하고 가드레일 정책에 반영하는 방식이다.
‘모두의 AI’는 범용 AI 챗봇과 공공·특화 AI 에이전트를 구축해 국민이 일상에서 이용할 수 있도록 지원하는 정부 사업이다. 이달 중 베타 버전을 공개하고 이용자 의견을 반영해 연내 정식 서비스를 출시한다.
에임인텔리전스는 이번 사업을 계기로 생성형 AI 중심의 보안 기술을 자율적으로 판단하고 행동하는 AI 에이전트와 피지컬 AI 영역에도 적용한다. 디지털 환경의 답변뿐 아니라 외부 서비스 및 현실 세계와 연결된 실행 과정까지 안전성 검증 범위에 포함한다.
유상윤 에임인텔리전스 대표는 “모두의 AI 사업은 인공지능이 단순 답변을 넘어 국민의 일상에 스며들어 행동을 수행하는 전환점이 될 것”이라며 “‘대한민국 AI의 가능성은 모두에게’라는 슬로건처럼 AI 보안은 에임인텔리전스에 맡길 수 있도록 최선을 다하겠다”고 말했다.
The post 실행형 AI 비서에 보안 울타리…에임인텔리전스, ‘모두의 AI’ 참여 appeared first on 벤처스퀘어.