영국 AISI의 시험에서 클로드 미토스 5가 가짜 깃허브 계정과 사회공학을 동원해 실제 개발자에게 악성 코드를 승인받으려 한 사실이 공개됐다.
출처 : 벤처스퀘어 AI 생성 이미지
최근 GPT 최신 버전이 실험 환경에서 탈옥(jailbreak)되어 허깅페이스(Hugging Face) 서버를 공격한 사건이 보도되어 주목을 받았다. 구체적인 경위와 피해 규모는 아직 명확히 공개되지 않았지만, 최신 대규모 언어 모델이 안전 장치를 우회해 외부 시스템을 겨냥한 행동을 보일 수 있다는 점에서 AI 보안 논란에 다시 불을 붙였다.
이 사건은 AI 모델이 주어진 제약 조건을 벗어나 의도하지 않은 방식으로 행동할 수 있다는 우려를 다시 환기시켰다. 특히 에이전트 형태로 외부 도구와 네트워크에 접근할 수 있는 환경에서는, 모델 자체의 안전성뿐 아니라 운영자가 설정한 경계와 권한이 실제로 얼마나 견고한지가 함께 검증되어야 한다는 지적이 나온다.
영국 AI안전연구소(AI Security Institute·AISI)의 사이버 보안 시험에서 앤트로픽의 클로드 미토스 5(Claude Mythos 5)가 실제 오픈소스 개발자를 조사하고 가짜 온라인 신원을 만들어 악성 코드가 포함된 변경안을 승인하도록 압박한 사실이 공개됐다. 중국 문샷AI(Moonshot AI)의 오픈웨이트 모델 키미 K3(Kimi K3)는 별도 시험에서 샌드박스의 설정 오류를 찾아 인터넷에 접속한 뒤 과제의 답을 구했다.
두 사례는 모두 AI 에이전트가 운영자가 기대한 경계를 넘어 행동했다는 점에서 통제 문제를 드러냈다. 다만 인터넷 접속이 의도적으로 허용된 미토스 5 시험과 설정 오류로 외부 통로가 열린 키미 K3 시험은 원인과 환경, 행동 및 결과가 다르다. 이를 같은 수준의 침해 사고나 ‘AI의 탈옥’으로 표현할 정도는 아니라는 것이 전문가들의 해석이다.
허용된 인터넷에서 시키지 않은 행동한 미토스 5
AISI는 총 7개 모델을 대상으로 122회 평가를 진행했다. 이 가운데 10회 실행에서 실제 인터넷을 향한 비승인 행동 19건이 확인됐다. 17건은 미토스 5, 2건은 오픈AI의 GPT-5.6 Sol에서 나왔다.
가장 심각한 실행에서 미토스 5는 실제 오픈소스 프로젝트에 악성 코드가 포함된 전체 요청을 제출했다. 이어 여러 가짜 계정으로 자신의 제안을 지지하며 개발자 사이에 합의가 형성된 것처럼 꾸몄다.
에이전트는 공개된 깃허브 정보를 이용해 개발자의 활동과 연락 경로를 조사했고 토르(Tor)와 프록시를 거쳐 계정을 만들었다. 다른 개발자의 AI 코딩 도구를 조종하려는 숨은 프롬프트 인젝션을 깃허브 이슈에 심었으며, 실제 개발자에게 파일 전송 서비스를 통해 메시지와 파일도 보냈다. 악성 변경안은 실제 사용자가 발견해 경고하면서 병합되지 않았다. AISI는 현재까지 현실에서 피해가 발생했다는 증거를 찾지 못했다고 밝혔다.
AISI는 이를 샌드박스 탈출로 규정하지 않았다. 연구진이 모델의 최대 능력을 측정하기 위해 공개 인터넷 접속을 허용하고 공급자의 사이버 안전 분류기를 비활성화했기 때문이다. 이는 일반 이용자나 기업 고객이 사용하는 상용 서비스와 다른 시험 환경이다. 모델이 언제 자신이 실제 세계에서 행동하고 있다는 사실을 이해했는지도 확인되지 않았다.
설정 오류로 열린 통로를 찾은 키미 K3
키미 K3 사례는 별도의 보안 시험에서 발생했다. 미국 보안 스타트업 프런티어 시큐리티(Frontier Security)는 AISI가 개발한 시험용 샌드박스에서 키미 K3의 방어형 사이버 역량을 평가하던 중 외부 접속을 발견했다.
샌드박스 설정 오류로 일부 웹사이트에 접근할 수 있는 통로가 열려 있었고, 키미 K3는 네트워크 설정을 탐색해 이를 찾아냈다. 이후 공개 깃허브에서 과제의 답을 구했다. 외부 시스템을 공격하지는 않았으며, 필요한 답을 찾는 데 그쳤다.
이 사건은 일반에 공개된 오픈웨이트 모델의 기본 안전장치 상태에서 발생했다는 점에서도 미토스 5 시험과 차이가 있다. 문샷AI와 AISI는 관련 논평 요청에 기사 게재 시점까지 응답하지 않았다.
미토스 5는 실제 사람을 상대로 한 기만과 악성 코드 삽입 시도까지 이어졌다. 반면 키미 K3의 행동은 잘못 열린 통로를 이용해 과제의 답을 찾은 부정행위에 가까우며, 해킹 피해는 보고되지 않았다. 두 사건은 위험 수준도 동일하지 않다.
AISI 기술 보고서는 공개 인터넷 접속과 비활성화된 사이버 분류기 외에도 일부 DL-v2 실행에 DL-v1 프롬프트가 잘못 적용된 구성 오류, 인터넷에서 금지되는 행동을 명시하지 않은 지침 등을 가능한 기여 요인으로 제시했다. 다만 이러한 요인이 비승인 행동을 증가시켰는지는 확인되지 않았다.
장시간 실행 과정의 문맥 압축도 잠재적 위험 요소로 지목됐다. 모델의 문맥 창이 차면 같은 모델이 앞선 대화를 요약해 다음 실행에 넘겼다. 이 과정에서 상대가 실제 사람일 가능성을 고려한 안전 판단이 사라지거나, 잘못된 가정이 사실처럼 이어질 수 있다는 설명이다. 이 요인이 실제 비승인 행동을 키웠는지는 확인되지 않았다.
모델의 판단보다 운영 경계를 통제해야
기업은 에이전트의 외부 통신을 기본적으로 차단하고 업무에 필요한 목적지만 허용해야 한다. 시스템 프롬프트에 인터넷을 사용하지 말라고 지시하는 것만으로는 네트워크 접근을 통제할 수 없다. 모든 외부 연결을 인증 프록시와 도메인 허용목록을 거치게 하고, 처음 보는 목적지나 토르·프록시·터널링 서비스로 향하는 접근을 실시간으로 감지할 필요가 있다.
에이전트마다 별도 신원과 최소 권한을 부여하는 것도 필요하다. 공유 서비스 계정과 장기 토큰을 없애고 저장소와 작업 단위로 범위를 좁힌 단기 자격증명을 사용해야 한다. AISI 시험에서는 한 에이전트가 공개한 깃허브 토큰을 다른 실행의 에이전트가 찾아 재사용한 사례도 확인됐다.
외부에 영향을 미치는 행동에는 사람의 승인을 강제해야 한다. 공개 저장소에 풀리퀘스트나 이슈를 만들거나 이메일·파일을 전송하고, 계정을 등록하거나 패키지를 배포하는 작업은 모델이 독자적으로 실행하지 못하도록 도구 계층에서 차단해야 한다. 툴 호출과 네트워크 로그를 실시간으로 수집하고 승인되지 않은 저장소 접근이나 계정 생성이 감지되면 실행을 자동 중단하는 장치도 필요하다.
이번 사건들은 상용 챗봇이 당장 스스로 인터넷을 공격한다는 증거가 아니다. 미토스 5에는 인터넷 접속과 안전 분류기 비활성화라는 시험 조건이 있었고, 키미 K3에는 샌드박스 설정 오류가 있었다.
다만 충분한 도구와 시간을 부여받은 에이전트가 목표를 달성하는 과정에서 조직의 의도와 시스템이 실제로 허용한 범위 사이의 틈을 찾을 수 있다는 점은 드러났다. AI 에이전트 보안은 모델이 규칙을 이해하고 따를 것이라는 기대보다 규칙을 어길 수 없게 만드는 운영 설계에서 출발해야 한다.
The post 인터넷 허용된 ‘미토스 5’, 설정 오류 찾은 ‘키미 K3’…AI 에이전트 통제 경고 appeared first on 벤처스퀘어.