AI가 화면 안에서 답을 생성하는 단계에서 현실 세계를 직접 움직이는 단계로 넘어가면서 안전의 기준도 달라지고 있다. 로봇이나 자율 시스템이 잘못된 판단을 내리면 결과가 텍스트나 이미지에 그치지 않고 실제 공간과 사람, 장비에 영향을 줄 수 있기 때문이다. 어떤 행동을 위험으로 정의할지부터 위험 징후를 언제 감지하고 개입할지, 로봇이나 환경이 달라져도 같은 안전 기준을 적용할 수 있을지까지 새로운 검증 체계가 필요해지고 있다. 에임인텔리전스가 글로벌 빅테크 소속 전문가와 국내외 연구진을 모아 피지컬 AI 안전의 공통 기준을 만드는 연구 컨소시엄을 출범시켰다.
AI 보안 전문기업 에임인텔리전스(AIM Intelligence, 대표 유상윤)는 로봇과 자율 시스템 등 피지컬 AI의 안전 문제를 연구하는 글로벌 컨소시엄 ‘PASC(Physical AI Safety Consortium)’를 출범했다. PASC는 피지컬 AI 안전에 대한 공통 정의부터 평가 방법론, 벤치마크, 향후 표준화에 필요한 연구 기반을 마련하기 위한 글로벌 오픈 컨소시엄이다. 에임인텔리전스가 소집했으며 비영리 방식으로 운영한다. 개인과 기관은 연구와 모델, 하드웨어, 컴퓨팅, 데이터 등 다양한 형태로 참여할 수 있다.
에임인텔리전스가 로봇과 자율 시스템 등 피지컬 AI의 안전 기준과 평가 체계를 공동 연구하는 글로벌 오픈 컨소시엄 ‘PASC(Physical AI Safety Consortium)’를 출범했다. (자료 제공: 에임인텔리전스)
현재 컨소시엄에는 구글과 마이크로소프트, 오라클, LG전자 등 소속 전문가를 비롯해 국내외 대학과 AI 안전 연구기관 연구진 등 30여명의 연구자와 산업계 실무자가 참여하고 있다.
주요 참여 인사로는 구글 소속 제니 니(Jenny Ni), 마이크로소프트·요크대학교 소속 아드리안 데 윈터(Adrian de Wynter), 오라클 소속 히테쉬 파텔(Hitesh Laxmichand Patel)과 아밋 아가왈(Amit Agarwal), LG전자 장지용 상무, 한국인공지능안전연구소 김명주 소장 등이 이름을 올렸다.
학계에서는 미국 캘리포니아대학교 샌디에이고(UC San Diego)의 시쿤 가오(Sicun Gao) 교수, 위스콘신대학교의 쉐론 리(Sharon Li) 교수, 일리노이대학교의 야키 시에(Yaqi Xie) 교수 등이 참여한다.
답변이 안전한 AI에서 행동이 안전한 AI로…평가 기준부터 다시 만든다
피지컬 AI는 로봇과 자율 시스템, 산업 장비 등이 실제 환경을 인식하고 판단해 행동하는 기술을 포괄한다. 이에 따라 AI 안전 역시 유해한 답변이나 콘텐츠를 차단하는 수준을 넘어 AI의 행동이 현실에서 발생시킬 수 있는 위험을 사전에 발견하고 평가·통제하는 문제로 확장된다.
PASC는 첫 공동 연구로 피지컬 AI 안전의 정의와 평가 방향을 정리한 포지션 페이퍼를 준비하고 있다. 이후 공동 평가 체계와 벤치마크를 설계하고 실제 운영 환경을 가정한 적대적 테스트와 검증 연구로 범위를 확대한다.
검증 환경도 시뮬레이션에 한정하지 않는다. 가상환경에서 안전성을 평가한 결과가 실제 로봇과 현실 환경에서도 유지되는지 확인할 수 있도록 시뮬레이션과 실제 로봇을 함께 다루는 연구를 추진한다.
특히 PASC는 안전성을 한 번의 테스트로 통과 여부를 결정하는 고정된 기준보다 지속적으로 관찰하고 갱신하며 필요할 때 개입해야 하는 상태로 정의한다. 위험 자체를 충분히 정의할 수 있는지, 사고로 이어지기 전에 위험 징후를 발견할 수 있는지, 환경과 로봇의 형태가 바뀌어도 평가 결과가 유지되는지 등을 주요 연구 과제로 다룬다.
안전 체계를 의도적으로 우회하거나 교란하는 적응형 공격 상황에서도 기존 방어 체계가 작동하는지 검증하는 연구도 진행한다. 이를 통해 피지컬 AI가 실제 산업 현장에 적용될 때 필요한 안전 평가와 검증의 공통 기반을 구축한다는 구상이다.
박하언 에임인텔리전스 CTO는 “피지컬 AI가 현실 세계에서 더 많은 역할을 맡게 될수록 안전은 모델의 성능과 별개로 설계하고 검증해야 할 핵심 기반이 된다”며 “PASC가 학계와 산업계의 전문성을 연결해 피지컬 AI 안전의 공통 언어와 검증 기반을 만들어가는 장이 되도록 하겠다”고 말했다.
The post 에임인텔리전스, 로봇이 행동한 뒤의 위험까지 본다…글로벌 피지컬 AI 안전 연합 출범 appeared first on 벤처스퀘어.