생성형 AI 경쟁이 성능 중심에서 안전성과 책임성 중심으로 이동하는 가운데, AI 산업의 승자는 가장 똑똑한 AI가 아니라 가장 잘 통제되는 AI를 만든 기업이 될 것이라는 주장이 나왔다.
안전 AI 딥테크 기업 인텔리빅스의 최은수 대표는 12일 서울 대한상공회의소에서 열린 ‘글로벌 인류공영 AI 포럼(GAFH) 2026’ 기조연설에서 “AI 시대의 최종 승자는 가장 자율적인 시스템이 아니라 가장 잘 통제되는 시스템을 설계하는 기업”이라고 강조했다.
이날 최 대표는 ‘신뢰 가능한 AI 설계: 통제가능성과 책임성의 내재화’를 주제로 AI 산업이 맞닥뜨린 새로운 과제와 해법을 제시했다.
그는 AI가 더 이상 디지털 환경에 머무르지 않고 공장과 병원, 도시 인프라 등 현실 세계를 직접 제어하는 ‘행동하는 AI(Acting AI)’ 시대로 접어들었다고 진단했다.
최 대표는 “과거 AI 오류는 잘못된 문장이나 이미지를 생성하는 수준이었지만 이제는 산업 설비와 물리적 장치를 제어하는 단계로 진입했다”며 “단 한 번의 오류가 산업재해나 안전사고로 이어질 수 있는 만큼 AI에도 비상 정지 장치가 필요하다”고 말했다.
인텔리빅스의 최은수 대표가 ‘글로벌 인류공영 AI 포럼(GAFH) 2026에서 <신뢰가능한 AI 설계: 통제가능성과 책임성의 내재화>를 주제로 한 기조연설을 했다. (사진 제공: 인텔리빅스)
“95% 정확도는 5% 실패를 의미할 수도 있다”
최 대표는 기업들이 강조하는 AI 정확도 지표에 대해서도 경계심을 드러냈다. 실험실 환경에서 측정된 높은 정확도가 실제 산업 현장의 복잡한 변수까지 담보하지는 못한다는 것이다.
그는 “산업 현장에서의 95% 정확도는 반대로 5%의 실패 가능성을 의미한다”며 “더 위험한 것은 AI가 틀린 답을 확신에 차서 제시하는 ‘그럴듯한 오류(Plausible Error)’ 현상”이라고 지적했다. 이어 “환각 현상은 인간의 판단력을 약화시키고 AI를 과도하게 신뢰하게 만들어 결국 기업 책임과 안전 문제로 이어질 수 있다”고 덧붙였다.
이에 대한 대안으로 그는 설계 단계부터 위험 요소를 고려하는 ‘Risk-by-Design’ 철학과 자체 개발한 ‘T.R.U.S.T 프레임워크’를 소개했다. T.R.U.S.T는 데이터 추적성(Traceability), 위험 설계 차단(Risk-by-Design), 인간 통제권(User Control), 이중 검증(Second Validation), 완전한 책임성(Total Accountability)을 핵심 요소로 구성한다.
최 대표는 해당 개념이 적용된 차세대 AI 관제 플랫폼 ‘Gen AMS’ 사례도 공개했다. 이 시스템은 시각언어모델(VLM)을 활용해 위험 상황을 자연어로 설명하고, AI가 내린 판단을 다른 AI가 교차 검증하도록 설계됐다. 최종 결정권은 인간이 보유하며 필요 시 즉시 시스템을 중단하거나 판단을 무효화할 수 있다.
그는 “AI가 판단하고 또 다른 AI가 검증하며 인간이 최종 승인하는 구조가 앞으로 산업 현장의 기본 모델이 될 것”이라고 설명했다.
한국의 경쟁력은 ‘AI 신뢰 표준’
최 대표는 한국이 글로벌 AI 경쟁에서 확보해야 할 차별화 전략으로 ‘AI 신뢰 표준’ 구축을 제안했다.
그는 “한국은 세계 최고 수준의 제조업과 반도체 생산라인, 스마트시티 인프라를 보유한 국가”라며 “범용 AI 모델 경쟁에만 집중하기보다 산업 현장에서 발생하는 예외 상황 데이터를 축적하고 신뢰 가능한 AI 운영 기준을 만드는 데 강점이 있다”고 평가했다. 이어 “기술을 수출하는 것을 넘어 전 세계가 따를 수밖에 없는 AI 신뢰 표준을 정의하는 국가가 되어야 한다”고 강조했다.
한편 이날 열린 ‘글로벌 인류공영 AI 포럼 2026’은 AI 기술 발전과 윤리, 제도적 안전장치, 글로벌 협력 방안을 논의하기 위해 마련됐으며 국내외 AI 전문가와 산업계 관계자들이 참석했다.
The post “AI 경쟁의 끝은 성능 아닌 통제력”…인텔리빅스 최은수 대표가 말한 ‘신뢰 가능한 AI’ appeared first on 벤처스퀘어.