AI 더빙이 콘텐츠 현지화의 속도를 높였지만 실제 상업 콘텐츠에 적용하려면 넘어야 할 과제도 있다. 등장인물이 많은 영상에서는 화자와 목소리가 뒤바뀔 수 있고 번역이 정확해도 입 모양이나 발화 길이가 맞지 않으면 몰입도가 떨어진다. 여러 편으로 이어지는 시리즈에서는 캐릭터의 목소리와 톤을 마지막 편까지 유지하는 것도 중요하다. 보이스루가 AI로 제작 속도를 높이면서 번역·음성·사운드 전문가의 검수를 결합한 B2B 더빙 서비스로 이 문제를 풀고 있다.
AI 기반 콘텐츠 현지화 기업 보이스루(대표 이상헌)는 AI 더빙과 전문가 검수를 결합한 B2B 더빙 제작 서비스 ‘폴리타(Polita)’를 출시했다. 폴리타는 AI가 번역과 더빙 음성을 생성한 뒤 전문가가 결과물 전체를 교정하고 검수해 완성본으로 납품하는 서비스다. AI의 제작 속도를 활용하면서 번역과 발음, 감정 표현, 영상과 음성의 싱크 등을 사람이 다시 확인하는 구조다.
보이스루가 AI와 전문가 검수를 결합한 B2B 더빙 제작 서비스 ‘폴리타(Polita)’를 출시했다. (사진 제공: 폴리타)
여러 명이 등장하는 영상에서는 AI가 화자를 잘못 인식해 특정 인물의 대사가 다른 목소리로 생성되는 문제를 줄이는 데 초점을 맞췄다. 폴리타는 영상을 분석해 화자를 먼저 식별하고 해당 정보를 AI 엔진에 입력해 음성을 생성한다.
콘텐츠 성격에 따라 더빙 방식도 달리 적용한다. 원본 음성을 별도로 학습하지 않고 원하는 텍스트의 발화를 생성하는 제로샷 STS(Speech-to-Speech)와 보이스루가 보유한 음성 모델 라이브러리를 프로젝트별로 선택해 사용한다.
애니메이션처럼 원작 화자의 연기와 감정이 중요한 콘텐츠에는 호흡과 감정선을 반영하는 음성 변환 방식을 적용한다. 강의와 이러닝처럼 정보 전달이 중요한 콘텐츠에는 화자별 특성에 맞는 음성을 배정한다.
AI가 만들고 사람이 최대 5차 검수…시리즈물 목소리도 일관되게
더빙 스크립트에는 보이스루가 콘텐츠 현지화 사업을 통해 축적한 누적 30만건의 번역 데이터와 1300여명의 언어 작업자 인프라를 활용한다. 언어 전문가는 번역의 정확성을 확인하는 동시에 입 모양과 실제 발화 길이 등을 고려해 더빙용 문장을 조정한다.
AI가 여러 음성을 생성하면 이 가운데 적합한 결과물을 선택하고 볼륨과 싱크를 보정한다. 프로젝트에 따라 최대 5차에 걸쳐 검수를 진행하며 마지막 단계에서는 사운드 엔지니어 출신 프로젝트 매니저(PM)가 싱크와 음질, 목소리 톤을 확인한다.
지원 언어는 영어와 일본어, 중국어, 스페인어, 프랑스어, 베트남어, 태국어, 인도네시아어 등을 포함해 총 70개다.
보이스루에 따르면 폴리타는 전문 성우 녹음과 비교해 비용을 60~80% 절감하고 스튜디오 제작 방식보다 제작 기간을 약 5분의 1로 단축할 수 있다. 30분 안팎의 영상은 약 5영업일 내 제작할 수 있다는 설명이다.
대량 콘텐츠 제작에도 적용하고 있다. 회사는 애니메이션 26부작 전체 시즌과 교육·이러닝 콘텐츠 300편 이상의 더빙을 진행했으며 시리즈 마지막 편까지 같은 목소리를 유지할 수 있도록 제작했다. 이 밖에도 방송·OTT 12부작, 게임 대사 1만줄 이상, 14명의 화자가 등장하는 오디오북 등에 폴리타를 활용했다.
이상헌 보이스루 대표는 “콘텐츠의 해외 유통이 확대되면서 다국어 콘텐츠를 빠르게 제작하는 것뿐 아니라 원작의 의미와 감정을 살리고 캐릭터의 목소리를 일관되게 유지하는 것 역시 중요한 요소로 부각되고 있다”며 “AI 기술과 보이스루가 축적해 온 현지화 및 사운드 제작 역량을 결합해 다양한 콘텐츠의 글로벌 확장을 지원하겠다”고 말했다.
보이스루는 영상 자막과 웹툰·웹소설, 문서 등의 번역·현지화 서비스를 비롯해 AI 기반 번역 솔루션과 번역 관리 시스템 등을 운영하고 있다.
The post 보이스루, AI 더빙도 최대 5번 검수한다…70개 언어 지원 폴리타 출시 appeared first on 벤처스퀘어.