글로벌 애플리케이션 전송·보안 기업 F5가 연례 ‘애플리케이션 전략 현황(State of Application Strategy, SOAS)’ 보고서를 발표하고, 국내 기업들의 AI 활용이 실험 단계를 넘어 실제 운영 중심으로 빠르게 전환되고 있다고 진단했다.
보고서에 따르면 국내 기업의 55%는 이미 AI 추론 워크로드를 운영 중인 것으로 나타났다. 다수 기업은 전체 애플리케이션의 40~60%에 AI를 적용하고 있으며, AI를 핵심 비즈니스 시스템 수준으로 관리하는 흐름이 확산되고 있다는 분석이다.
또한 국내 기업들은 현재 평균 2~3개의 AI 모델을 실제 운영 환경에서 활용하고 있으며, 65%는 실시간 운영 자동화에 AI를 적용하고 있는 것으로 조사됐다.
F5 로고 (자료 제공: F5)
AI 서비스 경쟁력, ‘운영·통제·보안’으로 이동
이형욱 F5코리아 지사장은 “AI는 이제 실험 단계를 넘어 실제 운영 영역으로 들어왔다”며 “기업들의 고민 역시 AI를 도입할지 여부가 아니라 이를 얼마나 안정적이고 안전하게 대규모로 운영할 수 있는가로 이동하고 있다”고 말했다.
이번 보고서는 AI 운영 환경이 서비스형 AI(AIaaS) 단일 구조보다 복수 AI 모델을 조합하는 방식으로 재편되고 있다는 점도 짚었다. 퍼블릭 AI 서비스에만 의존하는 기업은 국내 기준 8%에 불과했으며, 대부분 기업은 비용·정확도·가용성 최적화를 위해 다양한 모델 포트폴리오를 구축 중인 것으로 나타났다.
이에 따라 정교한 라우팅과 장애 대응, 정책 기반 제어 역량 확보가 새로운 운영 경쟁력으로 떠오르고 있다는 설명이다.
보고서는 하이브리드 멀티클라우드 환경이 AI 운영의 새로운 표준으로 자리잡고 있다고 분석했다.
국내 기업의 74%는 복수의 퍼블릭 클라우드 서비스를 사용 중이며, 68%는 여러 온프레미스 데이터센터를 운영하고 있는 것으로 조사됐다. 코로케이션 환경을 다변화해 활용 중이라는 응답도 72%에 달했다.
AI 보안과 거버넌스 역시 주요 과제로 부상했다. 국내 기업의 56%는 AI 워크로드 운영 비용을 가장 큰 부담 요소로 꼽았으며, 51%는 에이전트 ID 증가에 따른 보안·관리 문제를 우려하고 있다고 답했다.
특히 프롬프트와 토큰 계층이 AI 서비스 운영의 핵심 제어 지점으로 이동하고 있다는 점도 강조됐다. 국내 기업의 36%는 프롬프트 계층을 가장 중요한 서비스 제공 메커니즘으로 꼽았으며, 21%는 토큰·제어 계층 중심 운영을 우선시한다고 응답했다.
F5는 “AI 성숙도는 이제 운영 탄력성과 경쟁력을 보여주는 핵심 지표가 되고 있다”며 “AI 환경 전반에 대한 가시성과 통합 제어 역량을 확보한 기업이 지속 가능한 비즈니스 경쟁력을 확보하게 될 것”이라고 분석했다.
The post “AI 운영 시대 열렸다”…F5 “국내 기업 55%, AI 추론 워크로드 이미 가동” appeared first on 벤처스퀘어.