생성형 AI가 자연스러운 음성으로 답하더라도 얼굴과 몸의 움직임이 어색하면 사용자는 곧바로 이질감을 느낀다. 특히 상담과 교육, 리테일처럼 화면 속 AI와 반복해서 대화하는 환경에서는 답변 내용뿐 아니라 입 모양과 표정, 시선, 몸짓의 일치가 사용자 경험을 좌우한다. 이를 실시간으로 구현하려면 언어·음성·영상 생성 기술을 짧은 지연시간 안에서 연결해야 한다. 클레온이 얼굴의 감정 표현에서 전신 동작과 의상 움직임까지 연구 범위를 확장하며 휴먼 AI 인터페이스를 고도화한다.
휴먼 AI 인터페이스 기업 클레온은 감정을 제어할 수 있는 실시간 립싱크 기술을 개발하고 관련 연구를 컴퓨터비전 학회 BMVC(British Machine Vision Conference) 2026에 게재했다. 올해 ICLR과 CVPR에서 발표한 연구에 이은 세 번째 학회 성과다.
클레온의 휴먼 AI 인터페이스 기술 (자료 제공: 클레온)
클레온은 거대언어모델(LLM)과 음성인식(ASR), 음성합성(TTS), 검색증강생성(RAG)에 실시간 영상 생성·스트리밍 기술을 결합하고 있다. AI가 질문을 이해하고 답변을 만드는 과정에 얼굴과 목소리, 표정, 몸짓을 더해 사람과 마주 보고 대화하는 형태의 인터페이스를 구현하는 것이 목표다.
이번 BMVC 논문 제목은 ‘Emo-LiveSync: Real-Time Universal Lip Synchronization with Explicit Emotion Control’이다. 기존 립싱크 기술이 음성에 맞춰 입술의 움직임을 생성하는 데 집중했다면 Emo-LiveSync는 눈과 입, 얼굴 윤곽 등 얼굴 전체의 움직임을 하나의 모션 공간에서 처리한다.
사용자는 기쁨과 슬픔, 분노 등 표현할 감정을 지정하고 감정의 강도와 변화도 조절할 수 있다. 같은 음성이라도 상황에 맞춰 표정을 다르게 생성할 수 있는 구조다. 실제 인물뿐 아니라 애니메이션과 3D 캐릭터에도 적용할 수 있도록 설계됐다.
사람의 대화에서는 말의 의미와 감정에 따라 입술뿐 아니라 눈빛과 얼굴 근육의 움직임도 달라진다. AI 휴먼이 음성과 맞지 않는 표정을 짓거나 모든 문장을 같은 표정으로 전달하면 정보의 뉘앙스가 사라지고 상호작용의 신뢰도도 낮아질 수 있다. 감정 제어 기술은 교육용 역할 훈련과 고객 상담, 브랜드 안내처럼 상황별 표현이 필요한 서비스에서 활용도가 높다.
얼굴·전신·의상 움직임을 하나의 대화 흐름으로
클레온의 연구 범위는 얼굴에서 손과 몸으로 이어진다. CVPR 2026에서 발표한 ‘AudioAvatar: Personalized Audio-driven Whole-body Talking Avatars’는 한 장의 이미지로 개인화된 3D 대화형 아바타를 만들고 음성에 맞춰 얼굴과 손, 몸 전체의 움직임을 생성하는 기술이다.
기존 방식은 먼저 음성에서 자세 정보를 예측하고 이를 아바타 영상으로 변환하는 과정을 거친다. 이 과정에서 자세 추정과 리타기팅 오류가 누적되면 입술의 미세한 움직임이나 손동작이 손실될 수 있다.
AudioAvatar는 중간 자세 예측 단계를 줄이고 음성에서 아바타의 움직임을 직접 생성한다. 3D 가우시안 스플래팅 기반의 입자별 변형 구조를 활용해 얼굴과 손, 몸의 세부 동작을 제어하면서 전체 움직임의 일관성을 유지하는 방식이다. 논문은 입술과 음성의 동기화, 얼굴의 세부 표현, 대화에 맞춘 몸짓 생성 성능을 기존 방식과 비교해 평가했다.
ICLR 2026에서 발표한 ‘SMAGA: Secondary Motion-Aware 3D Clothed Gaussian Avatars from Monocular Videos’는 신체를 따라 움직이는 옷과 머리카락 등 비강체 영역의 2차 움직임을 표현하는 기술이다. 두 연구는 고려대학교 박경문 교수 연구실과 공동으로 진행됐다.
사람이 몸을 움직이면 옷자락은 관절과 정확히 같은 궤적으로 움직이지 않는다. 몸의 속도와 방향, 소재의 형태에 따라 조금 늦게 흔들리거나 별도의 변형을 만든다. 기존 3D 아바타는 신체 골격을 기준으로 옷을 움직이는 경우가 많아 헐렁한 의상에서 찢어짐이나 뾰족한 잔상 같은 시각적 오류가 발생할 수 있다.
SMAGA는 단일 영상에서 추출한 가우시안 요소를 그래프 형태로 구성하고 이전 움직임과 속도 정보를 반영해 다음 변형을 예측한다. 이를 통해 치마처럼 신체와 다른 형태로 움직이는 의상의 실루엣과 흔들림을 표현한다.
세 연구를 연결하면 클레온의 개발 방향은 입술 동기화, 얼굴의 감정 표현, 손과 몸의 동작, 의상과 외형의 세부 움직임으로 이어진다. 각각의 기술을 실시간 대화 시스템에 통합하면 AI가 생성한 답변의 의미와 감정을 얼굴과 몸으로 함께 전달할 수 있다.
클레온은 연구 결과를 기업 교육용 대화형 AI 제품 ‘롤핏(ROLEFIT)’, 디지털 휴먼을 서비스와 기기에 탑재하는 ‘클레온 스튜디오 SDK’, 전시·행사 현장에서 다국어 AI 안내자를 운영하는 ‘이벤트 프로모터 OS’에 적용할 계획이다.
롤핏은 상담과 세일즈, 고객 응대 상황을 설정하고 사용자가 AI 휴먼과 반복적으로 대화하며 훈련할 수 있도록 지원한다. 클레온 스튜디오 SDK는 기업이 자체 서비스와 웹, 앱, 키오스크 등에 디지털 휴먼을 연동할 수 있게 하는 개발도구다. 출시를 준비 중인 이벤트 프로모터 OS는 브랜드 행사와 전시장에서 다국어 설명과 안내를 제공하는 용도로 개발되고 있다.
강지수 클레온 CTO는 “AI가 실제 사람 앞에서 응대하고 설명하고 훈련시키는 역할을 하려면 질문을 이해하고 답변을 생성하는 것만으로는 충분하지 않다”며 “자연스럽게 입을 움직이고 상황에 맞는 표정과 감정을 표현하며 몸짓으로 반응할 수 있어야 한다”고 말했다.
이어 “개별 기술의 성능을 높이는 동시에 이를 하나의 실시간 시스템으로 연결해 AI가 사람과 더 자연스럽게 상호작용할 수 있는 인터페이스를 만들겠다”고 덧붙였다.
학회에 발표된 연구는 얼굴과 전신, 의상 움직임을 생성하는 개별 기술의 성능을 검증한 결과다. 실제 제품 경쟁력은 이 기술들을 연결했을 때 발생하는 전체 응답 지연시간과 장시간 대화 중 인물·표정의 일관성, 음성에 담긴 의미와 감정 표현의 정확성에서 결정된다.
얼굴과 목소리를 생성하는 기술인 만큼 당사자의 동의와 초상권 보호, AI 생성물 표시, 사칭과 오용을 차단하는 장치도 필요하다. 기업 교육이나 공공 안내처럼 실제 사람과 반복해서 상호작용하는 환경에서는 기술의 사실감만큼 사용자가 AI라는 사실을 명확히 알 수 있도록 하는 설계가 중요하다. 클레온이 연구 성과를 낮은 지연시간과 안정적인 운영, 안전장치를 갖춘 제품으로 연결한다면 휴먼 AI 인터페이스는 LLM의 답변을 현실 공간의 사용자 경험으로 전달하는 새로운 접점이 될 수 있다.
The post 입 모양 넘어 감정·전신 동작까지…클레온, 휴먼 AI 인터페이스 기술 확장 appeared first on 벤처스퀘어.