안녕하십니까? 행정안전부 장관 윤호중입니다.
바쁘신 가운데에도 오늘 시연회에 참석해 주신 언론인 여러분께 감사의 말씀드립니다.
인공지능 기술은 하루가 다르게 발전하고 있습니다. 우리 사회 곳곳에 새로운 가능성을 만들어내고 있기도 한데요.
하지만 그 이면에는 딥페이크와 같은 새로운 위협도 빠르게 증가되고 있습니다. 특히 선거를 앞둔 요즘 같은 시기에 딥페이크의, 딥페이크로 만들어진 가짜 영상과 허위 정보가 국민 여러분의 판단을 흐리고 민주주의의 기반을 흔들 수 있습니다.
중앙선거관리위원회에 따르면 선거 기간 딥페이크 영상 삭제 요청은 2024년도에 실시됐던 22대 총선 당시 388건 수준이었는데 불과 1년 후인 2025년 대선에서는 1만 510건으로 급증했습니다.
이제 딥페이크는 단순한 기술 문제가 아니라 민주주의를 위협하는 새로운 정보 범죄가 되고 있는 것입니다.
온라인 공간에서는 조작된 영상과 거짓 정보가 서로 연결되며 일종의 망상의 네트워크를 만들어내기 쉽습니다. 이렇게 형성된 왜곡된 정보는 순식간에 확산돼서 유권자의 올바른 판단을 흐릴 수 있습니다.
이러한 위협으로부터 국민의 권리와 민주주의를 지키는 것은 정부의 중요한 책무가 아닐 수 없습니다.
행정안전부는 딥페이크 범죄에 대응하기 위해서 2024년부터 국립과학수사연구원과 함께 AI 기반 딥페이크 탐지 분석 모델을 개발해 왔습니다.
이번에 고도화된 모델의 허위 정보 탐지율은 92%로 기존 76%를 크게 향상시켰습니다.
오늘 시연회는 이 기술이 실제 현장에서 어떻게 작동되는지 여러분께 직접 보여드릴 예정입니다.
다가오는 6월 지방선거에서는 오늘 시연하는 딥페이크 탐지 분석 모델을 활용해서 인공지능을 악용한 허위 정보 확산에 대해 범정부적 차원의 대응을 더욱 강화하겠습니다.
딥페이크로 의심되는 이미지나 영상이 포착되면 과학적 분석을 통해 조작 여부를 신속히 확인하고 관계기관이 즉각 대응할 수 있도록 하겠습니다.
아울러, 오늘 시연하는 기술은 선거 과정에서의 허위 정보 대응뿐 아니라 각종 디지털 범죄 수사에도 적극 활용될 것임을 말씀드립니다.
국민 여러분 그리고 이 자리에 참석해 주신 언론인 여러분, 인공지능은 민주주의를 위협하는 창이 아니라 민주주의를 지키는 방패가 되어야 합니다.
행정안전부는 인공지능을 활용해 국민 보호와 공정한 사회를 구현하는 AI 민주정부를 반드시 만들어내겠습니다.
아울러, 선관위, 또 경찰청, 국과수 등 관계기관과 긴밀히 협력하여 허위 조작 정보에 단호히 대응하고 국민이 신뢰할 수 있는 공정한 선거 환경을 지켜나가겠습니다.
감사합니다.
<박남인 국립과학수사연구원 연구관>
시연을 맡게 된 국립과학수사연구원 박남인 연구관입니다.
AI 딥페이크 탐지 분석 모델 시연을 하도록 하겠습니다.
먼저, 시연에 사용될 데이터에 대해서 보여드리겠습니다.
첫 번째는 AI로 생성된 경찰 바디캠 영상입니다.
<동영상 시청>
다음은 AI로 생성된 선거 관련 영상 두 점입니다.
<동영상 시청> 마지막으로, 진짜 같은 AI 영상입니다. <동영상 시청>
보여드린 다섯 개의 생성형 AI 영상을 가지고 지금부터 국과수 서버에 접속해서 AI 탐지 모델이 동작되는 것을 보여드리도록 하겠습니다.
먼저, ID와 패스워드를 입력합니다. 메인 화면은 비디오, 이미지, 오디오 파일에 대한 일일 처리 통계를 보여줍니다.
파일 업로드 탭으로 접근하면 딥페이크 분석 모델을 선택할 수 있는데 영상 탐지 모델은 기존 모델 1종, 개선된 모델 5종, 총 6종의 모델로 구성되어 있으며 음성 탐지의 경우에는 총 5종의 모델로 구성되어 있습니다.
먼저, 시연을 위해 선거 관련 영상을 첨부하겠습니다.
그다음, 영상 탐지 모델을 선택합니다.
5종의 모델 중 계산량이 다소 많은 1종에 대해서는 시간관계상 제외하여 4종에 대해서만 선택하겠습니다.
그다음, 업로드를 하게 되면 분석 결과에서 조회 결과를 확인할 수 있습니다.
이번엔 바디캠 영상을 추가하겠습니다. 여기서도 동일하게 4종의 모델을 선택하겠습니다.
여기서 비디오 파일을 오디오 모델로 분석을 선택하게 되면 바디캠 영상에서 오디오를 추출하여 오디오 딥페이크 탐지가 가능하게 됩니다.
또한, 분석 후 업로드 파일 삭제를 선택하게 되면 업로드된 파일이 분석이 완료된 후 삭제되게 됩니다. 이번에는 해당 기능을 활성화 해보도록 하겠습니다.
이번엔 마지막으로 진짜 같은 AI 영상을 추가하겠습니다. 모델 역시 4종에 대해서만 선택하도록 하겠습니다.
분석 결과 조회로 이동해서 방금 올린 5건의 데이터 처리 과정을 살펴보도록 하겠습니다.
러닝 우측에 보이는 숫자는 총 적용된 모델 중 처리가 완료된 모델 수를 의미합니다. 결과 우측에 보이는, 페이크 우측에 보이는 숫자는 총 적용 모델에서 페이크를 선택한 모델의 수를 의미합니다.
세부적으로 살펴보면 각 4개 모델의 딥페이크 결과를 확인할 수 있고 우측에 보이는 최종 점수는 0~100까지 나타나게 됩니다.
각 개별 모델의 최적 임계치는 50점을 기준으로 설정되어 있기 때문에 0에 가까울수록 '리얼', 100에 가까울수록 '페이크'를 의미하게 됩니다.
따라서, 해당 콘텐츠에 대한 딥페이크 결과는 적용 모델의 다수결 투표 방식으로 도출되게 됩니다.
여기서 특정 모델을 선택하게 되면 해당 모델이 영상 프레임에서 어떻게 변화를 하였는지 확률값을 세밀하게 확인할 수 있습니다.
바디캠 영상도 마찬가지입니다. 해당 영상의 경우에는 분석 후 업로드 파일 삭제를 선택했기 때문에 서버에서 해당 파일이 삭제되어 분석 결과만 확인이 가능합니다. 여기서도 특정 모델을 선택하게 되면 영상 프레임에서의 확률값을 확인할 수 있습니다.
마지막으로, 진짜 같은 AI 영상을 보겠습니다. 해당 영상의 경우에도 페이크로 결정된 것을 확인할 수 있습니다.
본 시스템에서 총 5개 파일에 대해서 모두 가짜 영상임을 확인하였습니다.
2026년 전국동시지방선거가 원활하게 이루어질 수 있도록 선관위에도 이 시스템을 지원할 계획입니다.
이상으로 시연을 마치도록 하겠습니다. 감사합니다.
<사회자>
이상으로 시연을 종료하겠습니다. 사전에 안내드린 바와 같이 윤호중 장관은 다음 일정으로 여기까지만 참석하는 점 양해 부탁드립니다.
[질문·답변]
※마이크 미사용으로 확인되지 않는 내용은 별표(***)로 표기하였으니 양해 바랍니다.
<질문> 안녕하세요? 허위정보 탐지율 관련해서 궁금한 게 있는데요. 이번 모델의 허위정보 탐지율이 92%로 이전 모델의 76%에 비해서 향상됐다고 쓰셨는데, 그러니까 과거 모델에는 100건 중에 76건 잡던 거를 92건 잡는 거로 늘었다는 뜻인지, 아니면 개별 영상에 대한 탐지 정밀도가 76에서 92%로 올랐다는 건지 그게 궁금하거든요.
<답변> (김진표 국과수 법공학부장) 안녕하십니까? 국립과학수사연구원 법공학부장 김진표입니다. 좀 전에 말씀드렸던 그 질문에 대해서 답변을 드리면요. 개별 영상에 대해서 정확도가 92%로 올라갔다는 것을 의미하는 그런 내용입니다.
<질문> ***
<답변> (김진표 국과수 법공학부장) 사실은 데이터 세트의, 데이트 세트와 모델에 의한 여러 가지 함수 관계에 의해서 정확도가 올라가는데요. 좀 전문적으로 내용을 설명하기에는 시간이 걸리니까요. 그거는 이따가 이거 끝난 다음에 아까 시연을 하신 박남인 연구관께서 정확하게 자세히 설명해 드릴 거라고 말씀드리겠습니다.
<질문> 같은 질문이긴 한데요. 그럼 나머지 8%는 못 끌어낼 수도 있다는 이야기인가요?
<답변> (김진표 국과수 법공학부장) 그렇습니다. 사실...
<질문> ***
<답변> (김진표 국과수 법공학부장) 네, 그렇습니다.
<질문> 지금 이 해당 프로그램을, 프로그램이라고 해야 할지 툴이라고 해야 할지 애매한데, 선관위 지원한다고 *** 어떻게 지원하겠다는 것인지 궁금하거든요. 상시적으로 해당 프로그램을 이용할 수 있도록 ID와 패스워드를 지급하는 것인지, 아니면 같이 공조하는 어떤 체계를 이루는 것인지 이거에 대한 설명 부탁드립니다.
<답변> (관계자) 일단 기본적으로 선관위에서 쓸 수 있도록 ID, 패스워드 부여하고요. 사용할 수 있도록 하는 겁니다. 그 후에 어떻게 사용할지는 선관위 쪽에서 말씀하시면 될 것 같습니다.
<답변> (조봉기 선관위 조사국장) 선관위 조사국장입니다. 저희가 지난 대선 때 썼던 프로그램이 있는데 감별 프로그램이 있는데요. 그거와 별개로 두 가지 프로그램을 저희가 동시에 이렇게 돌려서 둘 다 페이크다, 라고 하면 페이크로 확정을 짓는 그런 방식으로 쓰고 있습니다.
아까 말씀 주신 대로 ID, 패스워드를 받아서 그걸 저희가 실제로 사용을 할 예정입니다.
<질문> 추가로 질문을 드리면 그러면 선거 때는 이런 AI 영상은 절대 만들면 안 되는 건가요, 아니면 구체적으로 어디까지가 허용되는 건지, 어디서부터가 안 되는 건지요?
<답변> (조봉기 선관위 조사국장) 지금 공직선거법 82조 8인데요. 선거운동 목적으로 인공지능 기술 등을 활용해서, 그다음에 실제와 구분이 어려운 그런 영상, 이미지 이런 것들을, 음성까지 포함이 됩니다. 텍스트는 해당이 안 됩니다. 그런 이미지를 게시, 제작, 유포 이렇게 할 수 없도록 돼 있습니다. 그래서 90여 일이 이미 기간 안에 들어왔기 때문에 그런 목적으로, 선거운동 목적으로 이런 걸 사용할 수 없게끔 돼 있습니다.
자주 질문이 들어오는 것 중에 하나가 그러면 풍자 같은 거는 어떻게 되느냐, 라고 많이들 물어보시는데 아까 말씀드렸듯이 실제와 구분이 어려운 거기 때문에, 풍자와 같은 것들은 실제와 구분이 되지 않습니까? 그런 부분들은 저희가 제한을 하지 않고 있습니다.
<질문> 안녕하세요? 좀 전에 나왔던 질문이긴 한데 이게 정확... 허위정보 탐지율이 개별 영상에 대해서 정확도를 말씀하셨잖아요. 그런데 앞에 예시에서도 좀 봤듯이 누가 봐도 AI인 게 티가 나는 영상과 그리고 조금 구분하기 어려운 영상, 이렇게 영상의 정확도라고 해야 될까요? 어떤 표현이 맞는지는 잘 모르겠지만 정말 사실과 같은 영상을 조금 더 걸러내는 게 중요하다고 생각을 하는데, 사실과 가까운 영상을 탐지하는 비율은 어느 정도 되는지 그것 좀 궁금하거든요.
<답변> (김진표 국과수 법공학부장) 네, 답변드리겠습니다. 탐지하는 비율까지는 아직 저희들이 통계를 내본 적은 없습니다만 지금 실제에 가까운 영상을, 그러니까 우리가 흔히 좀 전에 보셨던 것 중에서 너무 확연하게 차이가 나는 그런 부분들은 기존의 기술로도, 그러니까 얼굴을 위주로 한 픽셀 특성 검사로도 가능한데요. 실제에 가깝게 된다면 그렇게 국부적인, 그런 국소적인 특성 분석뿐만 아니라 영상 전체를 보는 것과 또 주파수 분석을 해가면서 정확도를 높여놨습니다.
<질문> 기존에는 원래 사용자가 딥페이크를 합성하는 방법에서 요새는 여러 가지 생성형 AI가 판을 치고 있는데 관련해서 조금 더 이런 유형의 딥페이크가 좀 더 잡기 어려운 부분이 있나요?
<답변> (김진표 국과수 법공학부장) 네, 아무래도 생성형 AI로 만들어진 딥페이크 영상 같은 경우는 굉장히 자연스럽습니다. 어떤 페이스 스와프나 아니면 목소리를 변조한 그런 것들은 쉽게 잡아내는데요. 생성형 AI는 아무래도 굉장히 고도화된 기술이기 때문에 잡아내기 어렵고, 그걸 하기 위해서 이번에 경진대회를 통해서 우수한 성과를 낸 모델과 합쳐져서 좀 전에 보셨다시피 저희들이 딥페이크 영상을 잡아내는 데 있어서 정확도를 올렸습니다.
<질문> *** 어떻게 했는지 알려주시고요. 그리고 일반 유권자가 딥페이크 영상을 신고할 수 있는 창구가 따로 있는지, 그리고 판별했을 때 시일은 얼마 정도 소요되는, 판별까지 시일이 얼마 정도 소요되는지 궁금합니다.
<답변> (관계자) 먼저, 경진대회는 민간에서 참여해서 한 거고요. 그 모델을 가지고 경진대회에서 우수하게 판단된 모델을 우리가 반영해서 전체적으로 운영하게 된 겁니다. 좀 더 기술적인 답은 국과수에서 말씀드리겠습니다.
<답변> (김진표 국과수 법공학부장) 좀 얘기가 길어질 것 같아서요, 아까 시연을 했던 박남인 연구관이 조금 이따가 보충설명을 해드리겠습니다.
<답변> (조봉기 선관위 조사국장) 유권자가 발견한, 딥페이크 영상을 발견하게 되면 선관위에 신고를 하시면 됩니다.
그런데 저희가 한 400여 명의 모니터링 요원을 운영하고 있거든요. 그래서 인공지능 시스템, 저희 자동적으로 걸러주는 그 시스템을 가지고 모니터링을 하고 있고, 특히 선관위에서는 이게 딥페이크가 유권자의 판단에 영향을 미치는 걸 최소화하기 위해서 확산을 최소화... 확산을 막는 게 우선이거든요. 그래서 저희가 발견하는 즉시 해당 플랫폼이나 당사자한테 삭제 요청을 하고 있습니다.
그래서 판별되는 건 아까 보셨지만 저희도 사실은 이게 이번이 처음 쓰는 거기 때문에 이 부분은 아까 보시는 정도 수준이라고 보면 되고, 지난번에 저희가 대선 때 썼던 거하고 거의 비슷하거나 조금 더 빠르거나, 그건 정확히 제가 말씀은 못 드리지만 대동소이한 걸로 보여집니다.
<질문> 두 가지 여쭙겠습니다. 선관위에서 조금 전에 답을 하셨는데 이걸, 만들어진 걸, 위조된 걸 걸러내는 것도, 잡아내는 것도 중요하지만 원천적으로 만들어지지 않도록 하는 게 저는 좋겠다고 생각하는데요. 이미 공지를 하셨지만 이걸 못 하도록 돼 있죠? 하게 되면 어떤 처벌을 받습니까? 신고를 해서 확인된...
<답변> (조봉기 선관위 조사국장) 일단 선거일 전 90일부터 선거일까지 아까 말씀드렸던 선거운동 목적의 딥페이크 영상을 제작·유포하게 되면 법 255조인데요. 거기에 따라서 5년, 아니 7년, 7년 이하 징역하고 1,000만 원 이상에서 5,000만 원 이하의 벌금형을 받도록 돼 있습니다.
그런데 이게 선거일 전 90일 전부터는 이 영상을 무조건 못 쓰는 게 아니라 선거운동 목적의 딥페이크라 하더라도 표시를 하면 됩니다. 이 영상은 AI로 만들어진 영상이라는 표시를 하면 되는데 그 표시를 하지 않았을 때는 과태료 부과 대상이 되는 거고요. 그런데 그 영상에 허위사실이 부과가 되면 또 허위사실공표죄에 해당돼서 별도로 또 처벌하게 됩니다.
<질문> 감사합니다. 한 가지 더 드리겠습니다. 아까 장관께서 이번 딥페이크 기술이 단순 기술 문제가 아니라 민주주의를 흔드는, 위협하는 거라고 해서 단호하게 대응하겠다고 하셨는데 그렇다면 굉장히 이걸 걸러내는 게 중요하다고 봅니다.
지금 이 기술이 우리나라만 있는 게 아니고 다른 나라도 있을 것 같아요, 해외에도. 해외에 있는 기술을, 기술과 비교하면 오늘 공개하신 이 기술은 어느 정도 수준인지, 그리고 그걸 또 해외 거를 더 성능 좋은 걸 수입해서 쓸 수는 없었는지 ***
<질문> 답변 전에 하나만, 같은 내용이라 추가하면 안 될까요? 방금 선관위 설명이 기존 대선 때 사용했던 프로그램과 대동소이한 것처럼 보인다, 라고 설명하셨, 사실 대동소이하면 이걸 굳이 이렇게 만들 이유는 없잖아요. 아마 이 개발하신 분은 다른 무언가가 있을 거라고 보는데 그 차이가 뭔지 설명 좀 해주시고.
<답변> (조봉기 선관위 조사국장) 먼저, 제가... 대동소이하다, 라는 건 속도를 물어보셔서 속도 면에서 대동소이하다는 말씀을 드립니다.
<질문> 알겠습니다. 그 차이가 구체적으로 기존에 쓰는 프로그램과 차이가 명확하게 무엇인지 좀 알려주시고 해외 사례나 다른 기술들하고 차이 같이 한꺼번에 설명해 주셨으면 좋겠습니다.
<답변> (박남인 국과수 연구관) 제가 설명해 드리도록 하겠습니다. 기존에 있던 딥페이크 모델은 얼굴 위주로만 저희가 탐지를 하게 됐습니다. 그래서 얼굴 영역이 아닌 경우에는 저희가 탐지를 전혀 하지 못했는데 지금 만든 개발 모델은 얼굴이 아닌 영역에서도 충분히 탐지가 가능하고요.
그래서 예를 들어서 어떤 서류를 위조했다... 서류를, 서류의 어떤 이름을 조작했다든지 이런 것들도 전부 다 탐지가 가능하게끔 되어 있거든요. 그리고 성능 측면에서 말씀드리면 기존 76%에서 92% 단일 모델로는 그렇게 성능이 향상됐다고 했는데 사실 저희 판단 모델은 다수결 투표로 방식이 바뀌었습니다. 그렇게 되면 앙상블 효과가 있기 때문에 지금 저희가 측정한 바로는 97%까지 성능 향상이 되고 있는 실정이고요.
그리고 수입해서 쓸 수 없는지에 대해서 말씀을 주셨는데 일부 저희가 상용 프로그램을 사서 사용하고 있긴 하지만 지금 전체적으로 다 사용할 수 없는 이유 중의 하나가 사실 구독형 서비스들이 많이 있습니다, 외산 제품은.
그래서 저희가 어떤 데이터를 해외 서버로 가야 된다는 단점이 있거든요. 그런데 이거는 굉장히 수사 관련된 거고 민감한 사항이기 때문에 그런 거에 제한이 있어서 자체적으로 연구 개발하는 데도 꼭 필수적이다, 라고 말씀드릴 수 있습니다.
<질문> ***
<답변> (박남인 국과수 연구관) 말씀드리겠습니다.
<질문> ***
<답변> (박남인 국과수 연구관) 상호명을 말씀...
<질문> ***
<답변> (박남인 국과수 연구관) 유럽 기업에 있는 제품인데요. 그 제품 같은 경우에는 얼굴 위주로 탐지가 되게 돼 있고요, 얼굴 위주로. 이미지, 영상, 오디오 이렇게 분석이 가능하고요.
저희도 마찬가지이긴 하지만 성능 측면에서는 저희가 최근 데이터, 최신 생성형 데이터로 테스트를 했을 때는 저희 것이 조금 더 우세합니다.
<질문> ***
<답변> (박남인 국과수 연구관) 수치적으로 말씀드리기에는 통계치는 뽑진 않았지만 그래도 저희가 다양하게 스트레스 테스트를 많이 하고 있거든요. 굉장히 정교하게 만들어진 것들을 테스트를 하고 있을 때 검출이 안 되는 게 저희 쪽에 검출이 되고 있는 상황이고 그렇습니다.
<질문> 그러면 저희가 이해하는 게 이렇게 이해하는 게 맞을지, 기존에 있던 1개 모델과 그리고 새로운 5개 모두, 그러니까 6개 모델을 모두 돌려서 가짜 뉴스라고 판단한 비율을 종합해서 탐지율을 정하는 거라고 보면, 이해하면 될까요?
<답변> (박남인 국과수 연구관) 기존에 했던 모델은 아주 고전적인 방식, 얼굴 위주로만 탐지를 했기 때문에 이번의 5개 모델은 별도의 시스템이라고 보시면 됩니다. 그래서 아까 6개 모델이 동시에 동작하긴 하지만 기본적으로 5개 모델만 돌리는 거를 저희가 권장하고 있습니다.
<질문> 5개에서 다수결을 따른다는 말씀이시죠?
<답변> (박남인 국과수 연구관) 맞습니다. 맞습니다.
<질문> 그러면 저 추가로 궁금한 거는 실제 영상과 딥페이크 영상 같은 경우에 이렇게 탐지하는 과정에서 어떤 특이점, 차이점을 보이는 부분이 있는지, 예를 들어 픽셀이 다르다거나 이런 차이점이 있는지 예를 들어서 설명해 주실 수 있는지 궁금하고요.
그리고 예를 들어 한 영상에 실제 영상과 딥페이크 영상이 같이 이렇게 섞인 경우에, 그런 경우에도 탐지가 가능한지 추가로 여쭙습니다.
<답변> (박남인 국과수 연구관) 일단 저희 알고리즘 자체, 동작하는 과정에서는 어떤 걸, 어떤 부분을 보고 어떤 특징을 봤는지는 세밀하게는 볼 수 없지만 학습하는 과정에서는 픽셀 분석과 주파수 영역에서의 아트팩트, 그러니까 주파수 영역에서 정상적인 영상의 주파수 특징과 그리고 페이크였을 때 주파수 특징 두 가지를 비교해서 학습을 시켰기 때문에 두 가지 동시에, 두 가지에 대해서 동시에 학습이 됐다고 말씀을 드릴 수 있고요.
그리고 아까 말씀하신 것 중에 이 한 콘텐츠에 리얼과 페이크가 동시에 있다, 라고 한다면 그 비중에 따라 달라질 수 있습니다. 그러니까 이 콘텐츠에 10초짜리 중의 1초만 리얼이고 나머지가 다 페이크였다고 하면 페이크일 확률이 높아지는 거고요. 그래서 사용하는 입장에서도 정확하게 명확한, 의심되는 구간에 대해서 잘라서 집어넣는 게 가장 중요합니다.
<질문> 이게 선거 영상이다 보니까, 이를테면 1분짜리 인터뷰 영상에 쭉 실제 영상이 나오고 중간에 한 마디만 가짜 영상으로 음성을 바꿔버리게 되면 그것도 페이크로 잡아낼 수가 있는 건가요?
<답변> (박남인 국과수 연구관) 네, 저희가 어찌 보면 멀티모달로 영상도 분석을 하지만 오디오도 같이 분석을 하고 있는 구간이기... 하기 때문에, 아까 보셨던 것처럼 시간별, 프레임별 구간들이 표시가 됩니다. 그래서 어떤 구간별 피크가 낮아진, 혹은 피크가 올라간 지점을 기준으로 다시 중점적으로 분석을 하면 그 부분도 충분히 커버가 될 거라고 생각이 됩니다.
<질문> 선거 로고송을 AI로 만들어서 하는 것도, 그것도 문제가 되는지 궁금하고, 그리고 지금 저 영상을 업로드하는 거는 원본 영상을 올릴 것 같은데 원래 영상은 만든 사람이 가지고 있을 거 아니에요. 어떤 식으로 저거를 올리게 되는 건지 궁금합니다.
<답변> (조봉기 선관위 조사국장) 먼저, 그 로고송에 대해서 말씀을 드리겠습니다. 어쨌든 그게 로고송이 선거운동 목적을 위해서 올리는 영상이기 때문에 딥페이크를 이용한 딥보이스라고 판단이 되면 또 위반으로 저희가 삭제 요청을 하거나 그렇게 하고 있습니다.
<답변> (박남인 국과수 연구관) 두 번째 질문을 제가 잘 이해를 못 했는데 다시 한번만 설명해 주시면 답변드리겠습니다.
<질문> 지금 저 영상 업로드를 할 경우에는 어떤 파일을 올리게 되는 거일 텐데,
<답변> (박남인 국과수 연구관) 네, 맞습니다.
<질문> 그건 이제 작성하거나 만든 사람, 원작자가 있을 거 아니에요. 그 영상은 어떻게 입수해서 올리게 되는지.
<답변> (관계자) 그게 선거용으로 만들었다는 것은 본인이 가지고 있기 위해서 만든 게 아니라 대중을 보라고 만들었기 때문에 대중이 본 걸 가지고 확보를 하면 되는 거 아닙니까? 네.
<질문> 궁금한 게 이게 어쨌거나 선거에 출마한 당사자가 제작할 수도 있지만 지지자들이 만들어서 배포하는 경우도 있잖아요. 이런 경우에는 그런 이득을 보는 사람한테 죄를 물을 수 있는 건지가 궁금하고요. 만약에 또 역으로 만일 그걸 노려서 상대 후보 측이 상대방을 돌려서 얘기할 수 있는 거잖아요. 내가 오히려 상대방이 만든 것처럼 그렇게 왜곡해서 뿌릴 수 있을 것 같은데 그런 경우에는 어떻게 할 수가 있을까요?
<답변> (조봉기 선관위 조사국장) 일단 법문상 주체는 '누구든지'거든요. 그래서 올리는 사람이 후보자든 아니면 일반인이건 그건 구분하지 않고 위반으로 하고 있기 때문에 지금 말씀하신 그런 부분들이 크게 문제가 되지는 않을 것 같습니다. 그게 만약에 내용 자체가 허위사실이라고 하면 그 허위사실로 처벌하면 되는 거기 때문에 그런 문제는 크게 중요하진 않을 것 같습니다.
<질문> 이어서 여쭈면요. 그 허위사실, 페이크, 딥페이크된 영상을 통해서 일단 이득을 보는 후보자가 있을 거잖아요. 그 사람은 어떻게 돼요?
<답변> (조봉기 선관위 조사국장) 공모 관계를 저희가 만약에 확인이 된다, 라면 공모 관계가 확인이 된다면 같이 조치를 하고 있고요. 공모 관계가 없이 그냥 전혀 모르는, 공모 관계없이 했다, 라고 하면 그 죄를 물을 수는 없지 않을까 싶습니다. 그렇게 하지 않고 있습니다.
<질문> *** 아까 말씀 주신 사안 중에 사실과 구분이 되면 풍자 영상도 괜찮다고 하셨고, 또 실제와 구분을 위해서 이건 '본 영상은 AI로 만든 영상입니다.' 표기가 되면 괜찮다고 했는데 그러면 그런 안전장치가 마련됐다면 AI로 만들어진 생성형 이미지도 어떤 내용이든지 간에 관계없이 유통이 가능하다는 뜻으로 이해할 수 있을까요?
<답변> (조봉기 선관위 조사국장) 아닙니다. 조금 잘못 전달이 된 것 같은데요. 그 기간에 따라서 다릅니다. 그러니까 지금은 선거일 전 90일부터는 이게 AI로 제작된 영상이라는 걸 표시를 하더라도 안 됩니다. 그거는 무조건 안 되고, 90일 전부터는 사실은 AI라고 표시를 하면 가능합니다.
혹시 또, 제가 말씀드리다가 또 까먹었는데 질문, 첫 번째 주신 질문이 뭐였는지.
<질문> 그래서 풍자 영역에 대해서도 사실과 구분이 되면 가능하다고 했는데 사실 그것도 어떻게 보면 주관적인 판단이 많이 작용할 수 있잖아요.
<답변> (조봉기 선관위 조사국장) 그러니까 예를 들어서 지브리풍 같은 그런 것들이나 아니면 삽화 이런 것들을 가지고 이게 누가 봐도 실제가 아니라고 판단이 되면 그건 풍자 영역으로 봐서 저희가 제한을 하고 있지는 않습니다.
<답변> (관계자) *** 추가해서 말씀드리면 만화나 캐릭터 같은 경우는 육안으로 아예 허위인지, 진실인지가 구별되는 부분이고 풍자인데도 영상, 그냥 정말 영화 영상처럼, 우리 일반인들이 보는 그냥 아까 저런 영상 같은 경우에 선거운동 목적성이 없다고 보여지면, 예를 들면 특정 후보자의 외모를 비하하거나 조롱 이런 부분들은 저희가 선거운동 목적성까지 고려해서 판단하고 있습니다.
<답변> (홍석기 경찰청 수사국장) 경찰청 수사국장입니다. 그러니까 지금 오해하시기 딱 좋은데 법률의 구성 요건에 보면 뭐가 돼 있냐면요. '실제와 구분하기 어려운 가상의' 이렇게 돼 있습니다. 그러니까 실제와 구분하기 어려운 가상이기 때문에 바로 육안으로 실제와 구분 가능하다면 여기에 적용될 수 없다는 그런 얘기를 지금 하시는 겁니다.
<질문> 지금까지 그럼 이런 모델이 들어오기 전에 수사했을 때 어려움에 대해서 듣고 싶은데요. 딥페이크로 인한 범죄들이 지금까지 꽤 많이 있었는데 이걸 실제와 구분하기, 이게 실제인지, 아닌지, 페이크인지, 리얼인지 구분하기 위해서 수사에서 더 많은 장치들을 쓰셨을 텐데 어떤 어려움들이 있었는지 한번 들어보고 싶습니다.
<답변> (홍석기 경찰청 수사국장) 경찰청 수사국장입니다. 말씀하신 대로 딥페이크가 2024년 이후에 굉장히 활성화되고, 특히 잘 아시겠지만 2024년 말에 딥페이크를 이용한 성범죄 굉장히 활성화돼서 경찰에서 고생을 많이 했는데요. 그걸 거치면서 반면에 저희도 딥페이크를 걸러내는 많은 기술들, 특히 아까 여기 언급됐던 외국에서 이미 많이 활성화되는 기술들이 있었습니다. 그 기술들을 구독형으로 저희가 서비스를 받아서 활용하고 있었고요.
아까 선관위 쪽도 마찬가지일 텐데 초기에는 이게 단순한 딥페이크였기 때문에 그 프로그램으로 충분히 저희가 따라갈 수 있었습니다. 그런데 이후에 생성형 AI에 의한 딥페이크가 나오면서 기존 저희 탐지 프로그램으로는 쫓아가기 힘든 상황이었거든요.
그 부분에 대해서 대응하기 위해서 이번에 행안부에서 전반적으로, 우리 국과수하고 협업해서 전반적으로 생성형 AI로 생성된 딥페이크도 추적할 수 있도록 프로그램을 만들어 줬습니다. 그래서 저희 그걸 받으면 그거하고 기존에 갖고 있던 것, 또 수사 노하우를 가지고 충분히 대응할 수 있을 것으로 봅니다.
<답변> (사회자) 이상으로 질의·응답을 마치겠습니다. 시연회에 참석해 주셔서 감사합니다.
<끝>