좋은 AI 모델을 만드는 것과 수많은 사람이 동시에 사용할 수 있는 AI 서비스를 운영하는 것은 다른 문제다. 이용자가 늘고 여러 AI 모델과 에이전트가 동시에 작동하면 연산량과 메모리 사용량, 응답 속도는 곧 서비스 비용과 품질로 이어진다. 국가 AI 경쟁의 무게중심이 모델 개발에서 실제 활용으로 이동하면서 제한된 인프라 안에서 AI를 효율적으로 구동하는 최적화 기술의 역할도 커지고 있다.
AI 모델 경량화·최적화 기업 노타(대표 채명수)가 정부의 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트에 이어 ‘모두의 AI’ 사업에 참여한다.
노타, ‘모두의 AI’ 참여 (자료 제공: 노타)
‘모두의 AI’는 과학기술정보통신부와 정보통신산업진흥원이 국민 누구나 일상에서 AI를 활용할 수 있도록 추진하는 사업이다. 노타는 SK텔레콤이 주관하는 컨소시엄에서 AI 모델 인프라 분야를 맡아 서비스에 적용되는 AI 모델의 경량화와 최적화를 지원한다.
SK텔레콤 컨소시엄은 이용자의 상황과 필요를 파악해 공공·생활 정보를 맞춤형으로 안내하고 필요한 후속 행동까지 연결하는 AI 서비스를 구현할 계획이다. 향후 공공서비스 탐색과 신청, 증명서 발급을 비롯해 의료·교통·금융·교육 등 생활 영역의 예약과 신청, 결제까지 지원하는 실행형 AI로 발전시키는 것을 목표로 하고 있다.
모델 성능만큼 중요한 ‘운영 효율’…AI 전 주기 최적화
노타의 역할은 AI 모델이 실제 대규모 서비스 환경에서 효율적으로 작동하도록 연산 부담을 줄이는 데 있다. 전 국민 대상 서비스에서는 단순 정보 검색부터 여러 단계의 판단과 외부 도구 활용이 필요한 업무까지 다양한 요청이 동시에 발생한다. 모든 작업을 하나의 고성능 모델에 의존할 경우 연산 자원과 운영 비용 부담이 커질 수 있다.
여러 AI 모델과 에이전트를 함께 활용하는 환경에서는 응답 속도와 안정성, 메모리 사용량, 연산 효율을 함께 관리해야 한다. 노타는 모델 자체의 경량화뿐 아니라 실제 서비스 환경에서 제한된 연산 자원을 효율적으로 배분하고 운영할 수 있도록 최적화 기술을 적용할 예정이다.
기반 기술은 자체 AI 모델 경량화·최적화 플랫폼 ‘넷츠프레소(NetsPresso)’다. AI 모델의 특성과 적용할 하드웨어 환경을 함께 분석해 모델 성능을 유지하면서 연산량과 메모리 사용량을 줄이고 데이터센터와 기업 서버, 엣지 디바이스 등 서로 다른 인프라에서 구동할 수 있도록 지원한다.
앞서 참여한 ‘독파모’가 독자적인 AI 파운데이션 모델 개발에 초점을 맞췄다면 이번 ‘모두의 AI’에서는 개발된 AI 역량을 실제 국민 대상 서비스로 연결하는 과정에 최적화 기술을 적용한다. 모델 개발 단계의 연산 효율화에서 실제 서비스의 대규모 운영까지 국가 AI 생태계의 전 과정에 참여하게 된 셈이다.
채명수 노타 대표는 “국가 AI 경쟁력은 우수한 모델 개발을 넘어 국민이 실제 사용하는 서비스를 구현하고 이를 대규모 환경에서도 빠르고 안정적으로 운영하는 역량에서 완성된다”며 “‘모두의 AI’에서도 모델 개발부터 실제 서비스 운영까지 최적화 역량을 폭넓게 적용해 대한민국이 독자적인 AI 기술과 활용 기반을 갖추는 데 기여하겠다”고 말했다.
The post 국가 AI 모델, 국민 서비스까지 가볍게 돌린다…노타 ‘모두의 AI’ 참여 appeared first on 벤처스퀘어.