AI가 영상과 음성을 이해하는 기술이 발전하면서 단순히 말의 내용을 파악하는 수준을 넘어 목소리에 담긴 감정과 억양, 주변 소리까지 분석하는 능력이 중요해지고 있다. 같은 문장이라도 말하는 방식에 따라 의미와 감정이 달라질 수 있지만, 음성을 문자로 변환하는 과정에서는 이런 정보가 사라지기 쉽다. AI 학습 과정에서 잘못된 데이터나 일관되지 않은 평가가 모델의 판단에 영향을 미치는 문제도 해결해야 할 과제로 꼽힌다. 동영상 이해 AI 기업 파일러가 음성 정보의 이해도를 높이고 학습 데이터의 오류에 대응하는 기술을 개발해 국제 AI 학술대회에서 연구 성과를 발표한다.
파일러(PYLER, 대표 오재호)는 자사 AI 연구팀의 논문 2편이 인공지능·머신러닝 분야 국제 학술대회 ‘NeurIPS 2026’에 채택됐다. 채택된 논문은 음성의 비언어적 정보를 AI 추론에 반영하는 ‘CoAT(Continuous Audio Thinking)’과 오류가 포함된 데이터에서도 AI 학습의 안정성을 높이는 ‘GAPO(Geometric Anchor Preference Optimization)’다. 두 연구는 오는 12월 10일 호주 시드니에서 발표될 예정이다.
파일러 자사 AI 연구팀의 논문 2편이 인공지능·머신러닝 분야 국제 학술대회 ‘NeurIPS 2026’에 채택됐다. (자료 제공: 파일러)
NeurIPS는 머신러닝과 딥러닝, 생성형 AI, 컴퓨터 비전, 자연어 처리 등 AI 전반의 연구 성과를 다루는 국제 학술대회다. 올해 제40회를 맞아 호주 시드니에서 메인 행사가 열리며 미국 애틀랜타와 프랑스 파리에서도 위성 행사가 진행된다.
파일러가 발표하는 첫 번째 논문 CoAT는 AI가 음성을 이해할 때 말의 내용뿐 아니라 감정과 억양, 음높이 등 소리에 포함된 정보를 함께 활용하도록 설계한 기술이다. 기존 음성 AI는 소리를 문자로 변환한 뒤 텍스트를 중심으로 추론하는 방식을 활용해 왔지만, 이 과정에서 목소리의 떨림이나 말투처럼 문자로 표현하기 어려운 정보가 충분히 반영되지 않는 한계가 있었다.
CoAT는 음성을 일일이 문장으로 풀어내는 대신 AI 내부에서 소리 정보를 직접 처리하는 별도의 추론 공간을 활용한다. 파일러는 음향 복원, 음성 내용, 소리 종류, 감정, 음높이 등 5개 영역의 전문 AI 모델을 결합해 다양한 음성 정보를 학습하도록 설계했다. 소리에 담긴 정보를 텍스트로 길게 생성하지 않고 처리해 추론 과정의 시간 부담도 줄이는 방식이다.
파일러는 CoAT를 Qwen2-Audio, Qwen2.5-Omni, Audio Flamingo 3 등 음성 AI 모델 3종에 적용해 성능을 검증했다. 실험 결과 총 42개 평가지표 가운데 38개에서 기존 대비 성능이 향상됐다. 개선 효과는 발화 내용뿐 아니라 말하는 방식이 중요한 음성 감정 인식 분야에서 두드러졌다.
음성 감정 인식 평가에 사용되는 IEMOCAP 데이터셋에서는 Qwen2.5-Omni 모델의 정확도가 기존 약 55%에서 약 79%로 높아졌다. 약 24%포인트 상승한 수치로, 기존 대비 약 1.4배의 정확도를 기록했다. 파일러는 별도의 긴 추론 문장을 생성하지 않고도 감정 인식 정확도를 높이고 응답에 필요한 시간을 줄일 수 있음을 확인했다고 설명했다.
오류 데이터에도 흔들리지 않는 AI 학습…GAPO로 선호도 최적화 개선
두 번째 논문 GAPO는 AI가 사람의 선호도를 학습하는 과정에서 오류나 불확실한 데이터의 영향을 줄이는 기술이다. AI 모델은 일반적으로 여러 답변 가운데 사람이 더 선호하는 결과를 학습해 응답 품질을 개선한다. 그러나 평가 데이터에 잘못된 정보가 포함되거나 선호 기준이 일관되지 않으면 실제 답변의 품질과 관계없는 특성을 학습할 수 있다.
대표적인 선호도 학습 기법인 DPO(Direct Preference Optimization)는 학습 초기 모델을 고정된 비교 기준으로 활용한다. SimPO(Simple Preference Optimization)는 별도의 기준 모델 없이 학습하는 방식이다. 두 기법 모두 데이터에 오류나 불확실성이 포함된 환경에서는 학습 안정성이 영향을 받을 수 있다.
파일러는 학습 중인 AI 모델의 판단이 작은 변화에도 얼마나 달라지는지를 측정하는 방식을 제안했다. 현재 모델에 미세한 변화를 가한 가상의 비교 모델을 만들고, 두 모델의 평가 차이인 ‘앵커 갭(Anchor Gap)’을 계산하는 구조다.
앵커 갭이 크다는 것은 작은 모델 변화에도 평가 결과가 크게 달라질 수 있음을 의미한다. GAPO는 이런 불안정한 데이터의 학습 비중을 낮추고 상대적으로 안정적인 데이터에 더 많은 비중을 부여한다. 데이터의 오류나 평가 기준의 불확실성이 AI 모델의 학습 결과에 미치는 영향을 줄이기 위한 접근이다.
파일러는 Mistral, Llama-3, Gemma-2 등 AI 모델 4종을 대상으로 GAPO의 성능을 검증했다. AI 답변의 품질과 사용자 선호도 반영 수준을 평가하는 AlpacaEval 2.0과 Arena-Hard에서 DPO와 SimPO를 포함한 기존 학습 기법 8종과 비교한 결과, 전반적으로 우수한 성능을 확인했다고 밝혔다.
일부 실험에서는 사람의 선호도에 맞게 답변 품질을 개선하면서도 수학 문제 풀이 데이터셋인 GSM8k와 추론 능력을 평가하는 ARC-C에서 기존 성능을 유지하거나 높였다. 학습 데이터의 20%를 의도적으로 잘못 표기한 실험에서도 기존의 강건성 특화 학습 기법보다 안정적인 성능을 보였다.
두 논문은 연구 대상과 접근 방식은 다르지만 AI가 복잡한 정보를 더 정확하고 안정적으로 처리하도록 한다는 공통점이 있다. CoAT가 음성에 포함된 감정과 억양 등 비언어적 정보를 추론에 활용하는 기술이라면, GAPO는 AI가 학습 과정에서 불확실한 데이터에 과도하게 영향을 받지 않도록 하는 기술이다.
파일러는 이번 연구 결과를 자사의 동영상 이해 AI 기술에 적용할 예정이다. 회사가 주력하는 브랜드 세이프티와 콘텐츠 검수 분야에서는 영상의 장면뿐 아니라 인물의 발화 내용, 목소리의 어조, 주변 소리와 맥락 등을 종합적으로 분석해야 한다. 동일한 표현도 음성의 감정과 상황에 따라 다르게 해석될 수 있어 다양한 정보를 함께 처리하는 능력이 중요하다.
파일러는 CoAT를 통해 영상 속 음성 정보의 분석 정확도를 높이고, GAPO를 활용해 AI 모델의 학습 안정성을 강화하는 방안을 검토하고 있다. 두 기술을 결합하면 콘텐츠의 위험성과 브랜드 적합성을 판단하는 과정에서 음성 정보의 활용 범위를 확대하고, 학습 데이터의 불확실성에 대한 대응 능력도 개선할 수 있다는 설명이다.
김종석 파일러 AI Head는 “이번 연구는 사람이 소리를 듣고 자연스럽게 구분하지만 글로는 설명하기 어려운 미묘한 정보까지 AI가 이해할 수 있도록 했다는 점에서 의미가 있다”며 “영상의 안전성을 판단할 때는 화면 속 장면뿐 아니라 목소리의 어조와 배경음 등도 중요한 요소가 될 수 있다. 앞으로도 이런 정보를 놓치지 않고 분석할 수 있도록 관련 기술을 발전시켜 나가겠다”고 말했다.
The post 파일러, NeurIPS 2026에 AI 논문 2편 채택…음성 감정 인식·AI 학습 안정성 기술 개발 appeared first on 벤처스퀘어.