생성형 AI가 클라우드 중심에서 개인 디바이스로 빠르게 확장되고 있다. 민감한 데이터를 외부 서버로 보내지 않고 기기 내부에서 AI를 실행하는 온디바이스 AI가 노트북과 스마트폰 등 개인용 기기의 새로운 경쟁력으로 부상하는 모습이다.
비즈니스 워크플로우 AI 기업 액션파워는 LG전자 노트북 ‘그램(gram)’에 온디바이스 AI 모델을 공급했다. 해당 기술은 ‘LG 그램 노트(LG gram Note)’ 애플리케이션에 적용됐으며, 인터넷 연결 없이도 음성을 텍스트로 변환하고 회의 내용을 자동으로 요약할 수 있도록 지원한다.
액션파워, LG 그램에 온디바이스 AI 공급 (자료 제공: 액션파워)
STT부터 요약까지…노트북 안에서 AI 처리
이번 협력은 서버 기반으로 운영되던 음성인식(STT) AI를 노트북 환경에서도 구동할 수 있도록 경량화하면서 이뤄졌다. LG 그램 노트에는 온디바이스 음성인식(STT) AI 모델과 자동 화자분리, 요약 특화 소형언어모델(sLM)이 함께 적용됐다.
사용자는 녹음 파일이나 실시간 음성을 텍스트로 변환하고, 화자별 발언을 구분한 뒤 AI가 자동으로 회의 내용을 요약하는 기능을 이용할 수 있다. 재생 위치 하이라이트와 스크립트 편집, 북마크 기능 등도 모두 기기 내부에서 처리된다.
액션파워는 서버 기반 모델과 유사한 수준의 성능을 온디바이스 환경에서 구현했다고 설명했다. 화자분리 정확도는 공개 API 모델 기준 90% 이상을 기록했으며, 새롭게 개발한 요약 특화 sLM은 동일한 파라미터 규모를 유지하면서 요약 성능을 최대 36% 향상시켰다. 모델은 20억 개(2B) 이하 파라미터 규모로 경량화돼 제한된 연산 환경에서도 안정적으로 동작하도록 설계됐다.
온디바이스 AI는 데이터가 외부 서버를 거치지 않고 단말기에서 직접 처리되는 것이 특징이다. 이를 통해 민감한 정보의 외부 유출 위험을 줄일 수 있으며, 네트워크 비용 절감과 인터넷이 없는 환경에서도 AI 기능을 사용할 수 있다는 장점이 있다.
액션파워는 이번 공급을 계기로 AI 적용 범위를 클라우드와 온프레미스 환경에서 개인 디바이스까지 확대했다. 앞으로는 사용자의 데이터와 사용 패턴을 학습해 기기 안에서 직접 동작하는 개인 맞춤형 AI 환경 구축에도 나설 계획이다.
온디바이스 AI 시장은 생성형 AI의 새로운 경쟁 무대로 떠오르고 있다. AI 성능뿐 아니라 보안과 응답 속도, 비용 효율성까지 동시에 확보하려는 노트북 제조사와 AI 기업 간 협력도 더욱 확대될 것으로 전망된다.
The post 액션파워, LG 그램에 온디바이스 AI 공급…인터넷 없이도 회의록 자동 정리 appeared first on 벤처스퀘어.