확장현실(XR) 전시관의 몰입감은 시각적 완성도와 함께 관람객의 행동에 반응하는 상호작용에서 결정된다. 정해진 문장을 반복하는 캐릭터보다 질문의 맥락을 이해하고 표정과 음성, 동작으로 응답하는 캐릭터가 실제 안내 경험에 가깝다. 딥브레인AI가 이러한 기능을 유니티 기반 XR 콘텐츠에 연결할 수 있는 3차원(3D) AI 휴먼 NPC 개발도구를 완성했다. 관람객의 질문에 실시간으로 답하고 작품 위치로 이동해 맞춤형 해설을 제공하는 방식이다.
생성형 인공지능(AI) 기업 딥브레인AI는 XR 기반 메타버스 서비스를 위한 ‘페르소나 XR AI 휴먼 소프트웨어 개발 키트(SDK)’ 개발을 마쳤다. NPC는 게임이나 가상공간에서 이용자가 직접 조종하지 않는 등장인물을 뜻한다.
이번 SDK에는 딥브레인AI의 고속 음성합성(Text to Speech·TTS), 음소 단위 립싱크, 거대언어모델(Large Language Model·LLM) 기반 답변 생성 기술이 적용됐다. 이용자의 질문을 인식한 뒤 캐릭터의 역할과 대화 맥락에 맞는 답변을 만들고 음성과 입 모양, 몸짓을 실시간으로 연결한다.
딥브레인AI의 ‘페르소나 XR AI 휴먼 SDK’를 적용한 전시관 화면 (자료 제공: 딥브레인AI)
외형·목소리·성격부터 답변 모델까지 콘텐츠별 설정
페르소나 XR AI 휴먼 SDK는 유니티 플러그인 형태로 제공된다. XR 콘텐츠 제작사는 기존 프로젝트에 플러그인을 연결해 음성 대화가 가능한 AI 휴먼 NPC를 추가할 수 있다.
개발자는 캐릭터의 성별과 외형, 음성, 제스처, 역할과 성격을 설정할 수 있다. 답변을 생성하는 AI 모델도 전시나 교육, 관광 등 콘텐츠의 목적과 분위기에 맞춰 교체할 수 있도록 설계됐다.
NPC의 표정과 동작, 말투는 설정된 페르소나를 기준으로 생성된다. 시나리오 기반 학습을 거친 표준 모델을 활용해 대화 상황이 바뀌더라도 캐릭터의 역할과 성격이 일관되게 유지되도록 제어한다.
감정 인식 기술도 연동했다. 이용자의 질문 내용과 표정, 목소리 등을 분석해 상황에 맞는 감정 표현을 답변에 반영한다. 전시관에서는 관람객의 관심사에 따라 작품을 안내하고, 교육 콘텐츠에서는 학습자의 질문이나 반응에 맞춰 설명 방식을 조정하는 형태로 활용할 수 있다.
지원 환경은 윈도우와 맥OS, 안드로이드 기반 모바일 XR 기기다. 여러 운영체제를 지원해 박물관과 전시관의 고정형 기기부터 모바일 기반 교육·관광 콘텐츠까지 적용 범위를 확보했다.
딥브레인AI는 지난해 7월 한국인정기구(KOLAS) 공인시험기관에서 자체 AI 휴먼 합성 모델의 영상 품질과 립싱크 정확도, 발음 정확도 등을 평가받았다. 회사 측은 국내외 주요 AI 휴먼 제품과 비교한 시험에서 핵심 항목의 우수성을 확인했다고 설명했다.
이번 SDK는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 ‘XR 공간 반응형 콘텐츠 최적화를 위한 멀티모달 UX 평가 플랫폼 기술 개발’ 과제를 통해 개발됐다. 연세대학교 산학협력단이 주관하고 한양대학교와 한국외국어대학교, 딥브레인AI, 나인파이브, 스토익엔터테인먼트가 공동 연구기관으로 참여했다.
연구진은 생체신호와 행동 등 여러 형태의 데이터를 활용해 XR 콘텐츠의 사용자 경험을 평가하고, 분석 결과에 따라 NPC와 사용자 인터페이스(UI)를 조정하는 통합 플랫폼을 구축하고 있다. 올해 하반기에는 최종 실증 평가를 진행한다.
딥브레인AI는 전시·박물관과 교육, 관광, 공공 안내 분야의 XR 콘텐츠 제작사를 대상으로 SDK 공급을 추진한다. NPC와 UI 구성요소는 분야별 템플릿으로 제작하고 콘텐츠의 사용자 경험을 점검하는 평가 서비스도 함께 제공할 예정이다.
장세영 딥브레인AI 대표는 “이번 성과는 AI 휴먼 기술을 XR 콘텐츠 제작 현장에서 곧바로 활용할 수 있는 개발도구로 완성했다는 데 의미가 있다”며 “전시와 교육, 공공 서비스 등 다양한 영역에서 AI 휴먼이 실제 문제를 해결하는 솔루션으로 자리 잡도록 연구개발을 이어가겠다”고 말했다.
The post 질문하면 답하고 작품 앞으로 이동…딥브레인AI, XR 전시용 AI 휴먼 구현 appeared first on 벤처스퀘어.