생성형 AI가 캐릭터와 결합하면서 콘텐츠는 정해진 이야기를 전달하는 방식에서 관람객의 말과 행동에 실시간으로 반응하는 형태로 진화하고 있다. 이용자마다 다른 대화가 생성되는 만큼 제작자가 모든 결과를 공개 전에 확인하기는 어렵다. 특히 어린이에게 친숙한 캐릭터는 부적절한 답변 하나가 IP의 이미지와 브랜드 신뢰에 영향을 줄 수 있다. AI 데이터·신뢰성 평가 전문기업 셀렉트스타는 지난 10일 서울 동대문디자인플라자에서 열린 ‘Try Everything 2026’에서 더핑크퐁컴퍼니와 아기상어 AI 전시의 제작·검증 과정을 소개했다.
Try Everything 2026은 서울경제진흥원이 주관한 글로벌 스타트업 행사로 9일부터 이틀 동안 진행됐다. 정세엽 셀렉트스타 팀장과 박상원 더핑크퐁컴퍼니 본부장은 ‘AI를 만난 아기상어: IP 기업과 AI 기업이 만든 새로운 콘텐츠 경험’을 주제로 발표와 좌담회를 열었다.
양사는 DDP에서 운영 중인 AI 인터랙티브 체험 전시 ‘아기상어 비밀 초대장: 비커밍 샤크’를 사례로 다뤘다. 전시 기획 배경부터 아기상어 캐릭터에 AI를 적용한 방식, 관람객과의 실시간 상호작용, 콘텐츠 공개 전후의 신뢰성 평가 과정을 공유했다.
박상원 본부장은 영상 콘텐츠에서는 이용자가 완성된 이야기를 감상하지만 인터랙티브 전시에서는 관람객의 말과 행동에 따라 이야기가 달라진다고 설명했다. 관람객이 아기상어 세계관 안에 직접 참여해 선택하고 대화하면서 캐릭터를 보는 경험이 만나는 경험으로 전환된다는 것이다.
4개 언어·1만 개 시나리오로 검증…우회 질문까지 공격 관점에서 점검
셀렉트스타는 전시에 적용된 AI 캐릭터를 검증하기 위해 신뢰성 평가 플랫폼 ‘다투모 플랫폼’을 활용했다. 평가 항목에는 대화 안전성과 아기상어 세계관의 일관성, 다국어 응답 품질 등이 포함됐다.
한국어와 영어, 일본어, 중국어 등 4개 언어로 총 1만 개의 안전성 평가 시나리오를 구축했다. 실제 전시장을 방문할 수 있는 이용자의 연령과 발화 성향을 반영한 가상 AI 사용자를 설계하고, 아기상어 AI 캐릭터와 여러 차례 대화를 주고받도록 시뮬레이션했다.
인터랙티브 콘텐츠는 관람객이 어떤 질문을 할지 미리 정할 수 없어 공개 전 검수만으로 안전성을 확보하기 어렵다. 셀렉트스타는 전시 운영 이후에도 예상하지 못한 질문에 AI가 캐릭터의 설정과 안전 기준에 맞는 답변을 제공하는지 지속적으로 평가해야 한다고 설명했다.
정세엽 렉트스타 팀장이 ‘Try Everything 2026’에서 아기상어 AI 전시에 적용한 신뢰성 평가와 레드티밍 사례를 발표하고 있다. (사진 제공: 셀렉트스타)
공격자의 관점에서 취약점을 찾는 레드티밍도 적용했다. 직접적인 유해 질문에는 답변을 거부하더라도 역할극이나 외국어, 간접적인 표현을 이용하면 안전장치를 우회할 가능성이 있기 때문이다. 다양한 방식으로 공격을 반복해 취약한 응답을 찾고, 이를 보완한 뒤 다시 평가하는 과정을 거쳤다.
이어진 좌담회에서는 AI 기반 IP 콘텐츠를 구현하는 공간으로서 전시가 지닌 특성과 IP·AI 기업이 제작 단계에서 함께 결정해야 할 기준, AI와 콘텐츠 산업의 협업 방향을 논의했다. 양사는 콘텐츠의 재미와 몰입도뿐 아니라 캐릭터 정체성과 이용자 안전을 함께 관리해야 한다는 데 의견을 모았다.
셀렉트스타는 콘텐츠 분야에서 확보한 AI 데이터 구축과 신뢰성 평가 기술을 국가 AI 사업에도 적용하고 있다. 셀렉트스타가 참여한 SK텔레콤 컨소시엄은 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 평가를 통과했으며, 대국민 AI 서비스 구축을 위한 ‘모두의 AI’ 사업에서도 데이터 구축과 품질 검증을 지원하고 있다.
정세엽 팀장은 “AI를 잘 만들었다는 기준은 성능이 뛰어난지를 넘어 이용자가 얼마나 믿고 사용할 수 있는지까지 포함한다”며 “앞으로 더 많은 AI가 콘텐츠와 일상에서 사람을 직접 만나게 되는 만큼 공개 전 레드티밍과 운영 이후의 지속적인 응답 품질 검증이 중요해질 것”이라고 말했다.
The post 1만 개 시나리오로 아기상어 AI 검증…셀렉트스타가 설계한 ‘안전한 콘텐츠’ appeared first on 벤처스퀘어.