AI 인프라의 선택지가 GPU에서 NPU 등 다양한 가속기로 늘어나면서 새로운 운영 과제가 생기고 있다. 어떤 가속기를 사용하느냐뿐 아니라 서로 다른 하드웨어에서 AI 모델을 안정적으로 배포하고 추론 자원을 효율적으로 배분하는 소프트웨어 역량이 중요해지고 있기 때문이다. 특히 실제 서비스 환경에서는 모델과 워크로드 특성에 따라 적합한 가속기를 선택하고 전체 인프라를 하나의 운영 체계에서 관리해야 한다. 오케스트로가 퓨리오사AI와 협력해 기존 GPU 중심의 AI 추론 운영 기술을 국산 NPU ‘RNGD’까지 확장하고 고객 실증과 상용 구축에 나선다.
AI 인프라 소프트웨어 기업 오케스트로 그룹(의장 김민준)은 AI 반도체 기업 퓨리오사AI(대표 백준호)와 지난 18일 서울 강남구 퓨리오사AI 본사에서 ‘NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력’을 위한 업무협약을 체결했다.
CJ대한통운과 리얼월드의 ‘물류특화 피지컬AI 전략적 협업을 위한 업무협약 체결식’에 참석한 양사 관계자가 기념 사진을 촬영하고 있다. (사진 제공: 리얼월드)
양사는 올해 초부터 퓨리오사AI의 2세대 NPU ‘RNGD(레니게이드)’와 오케스트로의 AI 인프라 소프트웨어를 연동하는 기술 검증을 진행해왔다. 퓨리오사AI NXT RNGD 서버를 오케스트로의 AI 인프라 환경에 구축해 호환성과 주요 기능을 확인하고 RNGD에서 대규모언어모델(LLM)을 배포·서빙·운영하기 위한 기술을 구현했다.
이를 통해 오케스트로는 GPU를 중심으로 지원해온 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’의 지원 범위를 RNGD로 확대했다. CONCERTO A.I.는 AI 모델 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 하나의 환경에서 지원하는 AI 추론 인프라 플랫폼이다.
RNGD 지원을 통해 고객이 NPU용 LLM 서빙 환경을 개별적으로 구성해야 하는 부담을 줄이고 GPU와 NPU 등 서로 다른 AI 가속기를 하나의 운영 체계에서 활용할 수 있도록 하는 데 초점을 맞췄다.
요청 따라 GPU·NPU 골라 쓴다…기술 검증에서 고객 BMT로
CONCERTO A.I.는 NPU에서 AI 모델을 구동하는 기능에 더해 지능형 라우팅(Intelligent Routing)과 토폴로지 기반 스케줄링(Topology-aware Scheduling)을 지원한다. AI 요청과 워크로드 특성, 가속기 자원 등을 고려해 추론 경로를 구성하고 GPU와 NPU 등 이종 가속기를 서비스 특성에 맞게 활용하는 구조다.
이번 협약은 양사가 진행해온 기술 검증을 실제 고객 사업으로 연결하는 단계다. 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 인프라의 성능과 안정성을 추가 검증하고 고객 대상 BMT(벤치마크테스트)와 실증을 거쳐 실제 서비스 환경에 맞는 구축·운영 모델을 구체화한다.
사업 대상은 공공과 금융, 기업 시장이다. 양사는 고객의 AI 서비스와 워크로드 특성에 맞춰 RNGD 기반 AI 인프라를 공동 설계·제안하고 BMT와 실증 결과를 실제 구축 사업으로 연결한다. 공동 영업과 마케팅, 기술 지원도 진행하며 산업별 적용 사례와 신규 사업 모델을 확보한다.
오케스트로의 다른 AI·클라우드 인프라 소프트웨어와의 연계도 추진한다. 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’, 클라우드 네이티브 운영 관리 플랫폼 ‘비올라(VIOLA)’, 멀티·하이브리드 클라우드 통합 관리 플랫폼 ‘오케스트로 CMP(OKESTRO CMP)’, 데브옵스 솔루션 ‘트럼본(TROMBONE)’ 등을 활용해 AI 인프라 구축부터 플랫폼 운영과 통합 관리까지 연결한다.
양사는 국산 AI 모델과 국산 AI 가속기, AI 인프라 소프트웨어를 결합하는 이른바 ‘K-AI 인프라’ 분야에서도 협력한다. 퓨리오사AI의 RNGD 하드웨어·소프트웨어와 오케스트로의 인프라 기술을 결합해 공공·금융·기업의 프라이빗 AI와 소버린 AI 구축 수요에 대응한다는 구상이다.
백준호 퓨리오사AI 대표는 “AI 가속기의 성능과 전력 효율뿐 아니라 다양한 AI 워크로드를 안정적으로 배포하고 운영할 수 있는 소프트웨어와 인프라 역량의 중요성이 커지고 있다”며 “오케스트로의 AI 인프라 소프트웨어 스택과 RNGD를 결합해 대규모 AI 데이터센터와 토큰 팩토리를 운영할 수 있는 풀스택 솔루션을 구현하겠다”고 말했다.
김민준 오케스트로 그룹 의장은 “올해 초부터 퓨리오사AI와 기술 협력을 이어오며 NPU에서도 AI 모델을 배포·서빙하고 운영할 수 있는 기반을 마련했다”며 “이번 협약을 계기로 기술 검증을 고객 실증과 사업화로 연결하고 공공·금융·기업 시장에서 AI 인프라 적용 사례를 확보하겠다”고 말했다.
[캡션] 김민준 오케스트로 그룹 의장(왼쪽)과 백준호 퓨리오사AI 대표가 ‘NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력’을 위한 업무협약을 체결했다. 양사는 퓨리오사AI의 2세대 NPU ‘RNGD’와 오케스트로의 AI 추론 인프라 플랫폼 ‘CONCERTO A.I.’를 연계해 고객 BMT와 실증, 상용 구축을 추진한다. (사진 제공: 오케스트로)
The post 오케스트로·퓨리오사AI, GPU 이어 국산 NPU까지 한 플랫폼서 운영…RNGD 사업화 나선다 appeared first on 벤처스퀘어.