AI 인프라 경쟁의 기준이 GPU 확보에서 운영 효율과 추론 성능으로 이동하고 있다는 분석이 나왔다. 생성형 AI 서비스가 확산되면서 단순히 고성능 GPU를 확보하는 것보다 제한된 자원을 얼마나 효율적으로 활용해 서비스 품질과 비용 경쟁력을 확보하느냐가 새로운 경쟁력으로 떠오르고 있다는 설명이다.
AI 인프라 소프트웨어 기업 오케스트로 그룹은 지난 7월 개최한 기술 컨퍼런스 ‘OPUS 2026’과 참가자 조사를 통해 기업과 공공기관의 AI 인프라 경쟁 기준이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있다고 분석했다.
지난 7월 개최한 기술 컨퍼런스 ‘OPUS 2026’에서 김민준 오케스트로 그룹 의장이 발표를 하고 있다. (사진 제공: 오케스트로)
기업들 “GPU보다 추론 성능·운영 효율이 더 중요”
서울 코엑스에서 열린 OPUS 2026에는 금융, 제조, 통신, IT 기업과 공공기관 관계자 2,000여 명이 참석했다. 현장에서는 GPU 자원 배분과 응답 지연 개선, 복잡한 AI 추론 환경 운영 등 기존 인프라의 효율을 높이기 위한 상담과 기술 논의가 집중됐다.
행사 이후 기업과 공공기관 IT 종사자 1,703명을 대상으로 실시한 조사에서도 비슷한 결과가 나왔다. AI 인프라 운영의 가장 큰 부담으로는 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이 꼽혔다. AI 인프라 구축·운영 경험 부족이라는 응답도 22.2%를 차지했다.
AI 추론 플랫폼을 선택할 때는 추론 성능과 응답 속도(20.2%), GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드와의 연계성(16.7%)을 가장 중요한 요소로 평가했다.
오케스트로는 이러한 수요에 대응하기 위해 AI 추론 운영 플랫폼 ‘콘체르토 AI(CONCERTO A.I.)’를 앞세우고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 GPU 자원 배분 기능을 통해 응답 지연을 줄이고 GPU 활용 효율을 높이는 데 초점을 맞췄다.
김민준 오케스트로 그룹 의장은 “OPUS 2026을 통해 다양한 산업의 기업과 공공기관이 AI 인프라 운영 과정에서 겪는 현실적인 과제와 시장 변화를 확인할 수 있었다”며 “현장의 요구를 반영해 한정된 자원에서도 AI 서비스의 응답 성능과 처리 효율을 높일 수 있는 AI 인프라 운영 기술을 지속 고도화해 나가겠다”고 말했다.
The post 오케스트로 “AI 인프라 경쟁, GPU보다 운영 효율”…기업 관심도 ‘추론 최적화’로 이동 appeared first on 벤처스퀘어.