AI 기본법이 올해 1월 22일 시행되면서 기업의 AI 관리 과제도 서비스 개발과 도입을 넘어 위험을 어떻게 식별하고 관리할 것인지로 확장되고 있다. 현행 AI 기본법은 일정 기준 이상의 AI 시스템에 수명주기 전반의 위험 식별·평가·완화와 위험관리체계 구축을 요구하고, AI 사업자가 서비스 제공 전 고영향 AI 해당 여부를 검토하도록 규정한다. 조직 내부에 정책과 관리 절차를 만드는 것과 함께 실제 AI가 정해진 기준대로 작동하는지 측정하고 이를 증빙할 수 있는 기술적 검증의 중요성도 커지는 배경이다. AI 데이터·신뢰성 평가 전문기업 셀렉트스타가 법률과 거버넌스, 기술 검증을 하나의 대응 체계로 연결해야 한다는 해법을 제시했다.
셀렉트스타는 지난 17일 서울 포스코타워 역삼에서 한국능률협회컨설팅(KMAC), 법무법인 린과 공동으로 ‘AI 기본법 이후의 실전 대응: 책임·거버넌스·검증’ 세미나를 개최했다. 이번 행사는 AI 기본법 시행 이후 기업과 공공기관이 준비해야 할 대응 방안을 법률·규제 해석부터 조직 거버넌스, 실제 AI 서비스의 기술적 평가까지 연결해 살펴보기 위해 마련됐다.
이현택 셀렉트스타 글로벌 사업개발 팀장이 AI 기본법 대응을 위한 신뢰성 평가 필요성에 대해 이야기하고 있다. (사진 제공: 셀렉트스타)
세미나에는 강상욱 과학기술정보통신부 기획조정실장이 참석해 축사했으며 오철세 KMAC 상무가 환영사를 맡았다. 법무법인 린은 AI 공공조달과 보안 규제 변화를, KMAC은 책임 있는 AI 운영을 위한 거버넌스 체계를, 셀렉트스타는 AI 안전성과 신뢰성을 확인하기 위한 기술적 실행 전략을 각각 다뤘다.
이현택 셀렉트스타 글로벌 사업개발 팀장은 ‘거버넌스, 그 이상의 신뢰성을 입증하는 기술적 실행 전략’을 주제로 기업이 마련한 정책과 관리체계가 실제 AI 서비스에서 작동하는지 확인하기 위한 평가 체계의 필요성을 강조했다.
셀렉트스타는 법과 제도가 요구하는 사항을 실제 서비스에서 측정할 수 있는 기준과 근거자료로 구체화할 필요가 있다고 설명했다. 이를 위한 기술적 점검 영역으로 투명성 점검, 안전성 검증, 고영향·위험 분류 지원, 사업자 책무 이행·증빙, 영향평가 지원 등 5가지를 제시했다.
출시 직전 한 번 검사하고 끝?…모델·데이터 바뀌면 다시 평가
AI 서비스마다 같은 검증 기준을 일률적으로 적용해서는 안 된다는 점도 제시됐다. 금융과 의료, 에이전트형 AI 등 서비스의 목적과 적용 산업에 따라 발생 가능한 위험이 다른 만큼 평가 항목과 기준도 각각 설계해야 한다는 설명이다.
특히 셀렉트스타는 AI 평가를 서비스 출시 직전에 한 번 수행하는 시험으로 접근하기보다 기획부터 운영까지 이어지는 과정으로 설계해야 한다고 강조했다. 기획 단계에서 서비스 활용 목적과 위험 수준을 파악하고 평가 기준을 정한 뒤 개발 단계에서는 평가 데이터를 구축해 모델을 검증하는 방식이다.
서비스 운영 이후에도 모델과 데이터, 서비스 환경에 변화가 발생하면 재평가가 필요하다고 봤다. 이렇게 축적된 검증 결과는 성능 확인을 넘어 AI 서비스의 출시와 운영, 변경 여부를 판단하는 거버넌스의 근거자료로 활용할 수 있다는 설명이다. 현행 AI 기본법 역시 안전성 확보 대상 AI 시스템에 대해 수명주기 전반의 위험 식별·평가·완화와 안전사고 모니터링·대응 체계를 규정하고 있다.
법무법인 린은 제도와 조달 측면에서 AI 도입 이후의 관리 과제를 짚었다. 방석호 AI산업센터장은 AI 제품·서비스 확인제도가 공공조달의 새로운 경로를 마련했지만 정확성·보안성·신뢰성을 보증하는 인증과는 구분할 필요가 있다며 별도의 검증과 위험관리 필요성을 강조했다. 유창하 외국변호사는 하나의 AI 서비스에 AI 기본법과 정보통신망법, 개인정보보호법 등이 함께 적용될 수 있는 만큼 관련 규제를 통합적으로 관리하는 체계가 필요하다고 설명했다.
손권상 KMAC AI·빅데이터본부장은 기업의 AI 대응이 전략 수립에서 실제 실행과 관리체계 구축으로 이동하고 있다고 진단했다. AI 위험 수준에 따른 관리 기준과 조직별 역할·책임, 승인 및 기록 체계를 함께 마련해야 한다는 설명이다.
이어진 패널토론에서는 공공기관과 금융 분야 AI 서비스 운영 사례를 중심으로 정확성과 개인정보, 편향, 비인가 실행 등의 위험을 어떻게 관리할지 논의했다. 참석자들은 AI의 판단과 실행 범위가 확대될수록 관련 위험을 지속적으로 점검하고 모델이나 데이터가 변경될 경우 재검증 결과를 서비스 운영 판단에 활용할 필요가 있다는 의견을 공유했다.
이현택 팀장은 “AI 거버넌스가 조직이 허용할 수 있는 위험과 관리 기준을 정하는 것이라면 기술적 검증은 실제 AI가 그 기준을 충족하고 있는지를 객관적인 근거로 보여주는 과정”이라며 “AI의 위험은 모델과 데이터, 서비스 환경이 바뀔 때마다 달라질 수 있는 만큼 출시 전 일회성 평가에 그치지 않고 지속적으로 평가하고 검증하는 체계를 갖추는 것이 중요하다”고 말했다.
셀렉트스타는 자체 AI·AX 커뮤니티 ‘AI Ignite’를 통해 현직 AI 실무자를 대상으로 오프라인 네트워킹과 최신 기술·산업 트렌드를 다루는 웨비나 등을 운영할 예정이다.
The post 셀렉트스타, AI 기본법 대응은 문서로 끝나지 않는다…출시 후에도 지속 검증해야 appeared first on 벤처스퀘어.