기업의 AI 경쟁이 ‘어떤 모델을 사용할 것인가’에서 ‘어떻게 전사적으로 운영할 것인가’로 이동하고 있다. 문서를 작성하고 회의를 요약하는 개인 생산성 도구에서 시작한 AI가 이제 기업의 데이터와 시스템, 업무 프로세스에 직접 연결되는 단계에 접어들면서다. AI 에이전트가 사람을 대신해 실제 업무를 수행하기 시작하면 어떤 데이터에 접근하고 어느 범위까지 판단과 실행을 맡길 것인지도 새로운 과제가 된다. 기술 도입보다 운영 체계를 어떻게 설계하느냐가 기업 AI 전환의 성패를 가르는 시점이 온 셈이다.
한국IBM의 연례 AI 행사 ‘IBM AI 서밋 코리아 2026’이 1일 웨스틴 서울 파르나스에서 열렸다.
한국IBM은 1일 웨스틴 서울 파르나스에서 ‘IBM AI 서밋 코리아 2026’을 열고 에이전틱 AI 시대의 기업 AI 전환 전략을 공개했다. 이날 행사에서는 AI를 실제 업무에 적용하고 전사적으로 확장하기 위한 운영 전략을 비롯해 하이브리드 클라우드와 양자 컴퓨팅, 국내 기업의 AI 전환 사례 등이 소개됐다.
이수정 한국IBM 사장이 기조연설에서 던진 질문도 ‘AI를 어떻게 사용할 것인가’보다 ‘어떻게 기업 전체에서 사용할 것인가’에 맞춰졌다. IBM 조사에 따르면 기업의 94%가 2030년까지 AI를 전사적으로 적용할 계획이지만, 파일럿 프로젝트에서 가능성을 확인하는 것과 이를 실제 기업 전체로 확장하는 것은 전혀 다른 과제다.
이 사장은 이를 전기가 산업 현장에 처음 등장했던 시기에 빗댔다. 전기의 등장 자체가 산업 생산성을 근본적으로 바꾼 것이 아니라 공장 전체에 전력을 공급하고 전기 모터와 조립 라인을 도입하면서 생산 방식 자체를 다시 설계했듯 AI도 같은 과정을 거치고 있다는 것이다.
“AI 전구는 이미 켜졌습니다. 이제 필요한 것은 AI를 기업의 조립 라인에 연결하는 것입니다.”
문서 작성이나 회의 요약처럼 하나의 업무를 효율화하는 단계에서 벗어나 AI를 기업의 데이터와 시스템, 의사결정 구조에 연결해야 한다는 뜻이다. 이 사장은 AI의 진정한 가치 역시 개별 업무 자동화보다 기업이 일하는 방식과 의사결정 구조, 시스템 간 연결 방식을 다시 설계할 때 만들어진다고 봤다.
한국IBM 이수정 사장
AI의 문제는 기술보다 ‘운영’
AI가 가져올 경제적 효과에 대한 기대는 이미 높다. 이 사장은 AI가 2030년까지 생산성을 42% 이상 향상시킬 것으로 예상되며, IBM 조사 기업의 70%가 AI를 통해 얻은 생산성 향상 효과를 새로운 혁신과 성장에 다시 투자할 계획이라고 소개했다. IBM 역시 AI와 하이브리드 클라우드를 전사적으로 활용하면서 45억 달러 규모의 생산성 향상 효과를 창출했다고 밝혔다.
그러나 AI의 잠재력과 실제 기업이 체감하는 성과 사이에는 여전히 간극이 있다. 이 사장에 따르면 경영진의 80%가 AI가 미래 성장을 이끌 것으로 보고 있지만, 실제로 어디에서 어떻게 가치가 만들어지는지를 명확하게 설명할 수 있는 비율은 20% 수준이다.
기업 내부의 환경이 복잡하다는 점도 AI 확장을 어렵게 만든다. ERP와 생산관리시스템(MES), CRM을 비롯해 클라우드와 자체 데이터센터에 정보가 흩어져 있고, 앞으로 AI 에이전트가 스스로 데이터에 접근하고 업무를 수행하는 범위가 넓어질수록 보안과 통제의 문제도 커질 수밖에 없다. 기업은 AI를 빠르게 활용해야 하는 동시에 데이터와 시스템을 안전하게 관리해야 하는 과제를 함께 안게 된다.
이 사장이 “문제는 기술 그 자체가 아니라 운영에 있다”고 짚은 이유다. 어떤 AI 모델을 구축할 것인가보다 AI를 실제 업무와 핵심 비즈니스 프로세스에 어떻게 연결할 것인지, AI 에이전트에 어떤 데이터와 권한을 허용할 것인지, 그 결과를 어떻게 측정 가능한 비즈니스 성과로 연결할 것인지가 중요해지고 있다고 설명했다.
IBM은 이러한 변화를 뒷받침할 세 가지 축으로 ‘AI 퍼스트 엔터프라이즈(AI First Enterprise)’, 하이브리드 클라우드, 양자 컴퓨팅을 제시했다. AI를 기업 운영과 의사결정의 중심에 두고, 흩어진 데이터와 시스템을 안전하고 유연하게 연결할 수 있는 하이브리드 클라우드 기반을 갖추는 동시에 향후 기존 컴퓨팅의 한계를 넘어설 양자 컴퓨팅까지 준비해야 한다는 것이다.
AI 퍼스트 엔터프라이즈의 핵심은 AI를 하나의 도구로 추가하는 데 그치지 않고 실제 업무 구조에 연결하는 데 있다. AI가 정보 제공을 넘어 실제 업무를 수행하는 에이전트로 발전하면서 어떤 데이터에 접근하고, 어떤 권한으로 무엇을 실행할 수 있는지를 관리하는 체계도 중요해지고 있다.
이 사장은 “AI 시대를 선도하는 기업은 더 뛰어난 모델을 가진 기업이 아니다”라며 AI를 데이터와 시스템, 실제 운영에 연결하고 확장할 수 있는 기업이 경쟁력을 갖게 될 것이라고 강조했다.
AI와 클라우드 연결하고, 다음은 양자 컴퓨팅
IBM은 AI의 전사 확장을 뒷받침하는 기반으로 하이브리드 클라우드도 강조했다. 기업의 데이터와 업무가 클라우드와 자체 시스템 등 여러 환경에 분산돼 있는 만큼 AI 역시 데이터가 존재하는 곳에서 활용할 수 있어야 하며, 별개로 다뤄져 온 AI와 클라우드 전략을 유기적으로 연결해야 실제 비즈니스 가치로 이어질 수 있다는 게 핵심이다.
AI 모델이 빠르게 바뀌는 상황에서 특정 기술이나 환경에 기업 시스템 전체가 종속되지 않는 것도 중요하다. IBM은 레드햇 오픈시프트를 비롯한 하이브리드 클라우드 기반과 하시코프 등을 통해 기존 IT 환경을 유지하면서 변화하는 AI 기술을 유연하게 연결하고 확장할 수 있는 운영 기반을 제공한다.
AI가 현재의 기업 운영 방식을 바꾼다면 양자 컴퓨팅은 그다음 문제 해결 방식의 변화를 가져올 기술로 제시됐다. 기존 컴퓨팅만으로 해결하기 어려운 신약 개발과 신소재, 금융, 공급망 등의 복잡한 문제를 새로운 방식으로 풀 수 있다는 기대다.
IBM 퀀텀 알고리즘 센터 디렉터 백한희 박사는 양자 컴퓨팅이 연구 단계를 넘어 산업 적용을 준비하는 단계로 이동하고 있다고 진단했다. 반도체와 배터리, 바이오, 금융 등에서 경쟁력을 가진 한국 기업에도 새로운 혁신 기회가 될 수 있다는 전망이다.
IBM은 양자 컴퓨팅이 기존 컴퓨터를 대체하기보다 기존 컴퓨팅으로 해결하기 어려운 문제를 보완하는 방향으로 발전할 것으로 보고 있다. CPU와 GPU, 양자 프로세서가 함께 작동하는 ‘퀀텀 센트릭 슈퍼컴퓨팅(Quantum-centric Supercomputing)’을 준비하는 것도 이러한 전략의 연장선이다.
IBM 오토메이션 & AI 닐 순다레산 총괄 사장
에이전틱 AI, 모델보다 ‘신뢰하고 확장하는 능력’
생성형 AI 다음 단계로 부상한 에이전틱 AI의 기업 적용도 이날 주요 화두였다. 기조연설에 나선 닐 순다레산 IBM 오토메이션 & AI 총괄 사장은 AI의 역할이 생산성을 높이는 보조 도구에서 기업 운영을 움직이는 새로운 운영 모델로 넘어가고 있다는 변화에 주목했다. 앞으로 기업의 경쟁력을 가르는 기준 역시 AI를 얼마나 많이 도입했느냐보다 얼마나 신뢰할 수 있고 확장 가능한 방식으로 운영하느냐로 옮겨간다는 관점이다.
특히 AI 에이전트가 정보를 제공하는 수준을 넘어 실제 업무를 수행하기 시작하면서 데이터와 자동화, 거버넌스, 운영 체계를 함께 관리하는 역량의 중요성도 커지고 있다. 순다레산 사장은 “AI는 더 이상 생산성을 높이는 보조 도구가 아니라 기업 운영 방식을 근본적으로 바꾸는 새로운 운영 모델이 되고 있다”며 “앞으로 성공적인 기업은 AI를 얼마나 도입했는지가 아니라 AI를 얼마나 신뢰할 수 있고 확장 가능한 방식으로 운영하느냐에 의해 경쟁력이 결정될 것”이라고 말했다.
한국IBM 이지은 CTO
이지은 한국IBM 최고기술책임자(CTO)가 진행한 패널 토론은 이러한 AI 운영의 과제를 실제 기업 현장으로 가져왔다. KB증권, SK텔레콤, 삼성생명 관계자들이 참여해 데이터와 기존 시스템의 연결, 안정적인 AI 운영과 거버넌스 등을 중심으로 AX 경험을 공유했다.
KB증권 AI·디지털 박재만 본부장은 AI 서비스 ‘깨비’ 구축 경험을 소개하며 성공적인 에이전틱 AI를 위해서는 모델 자체보다 신뢰할 수 있는 데이터 기반이 중요하다는 점을 짚었다. 다양한 데이터 소스를 통합하고 데이터 품질을 관리할 수 있는 기반을 마련한 뒤 이를 개별 AI 서비스에서 전사적인 AI 전환과 새로운 비즈니스 기회로 연결하는 접근이다.
행사장에서는 이러한 AI 운영 전략을 실제 기술로 확인할 수 있는 전시도 이어졌다. 소프트웨어 개발 과정에서 사람과 협업하는 AI 파트너 ‘IBM 밥(Bob)’을 비롯해 AI 애플리케이션과 인프라 운영을 지원하는 IBM 콘서트(IBM Concert)와 하시코프 솔루션, 데이터와 AI를 연결하는 왓슨x 포트폴리오, 양자 컴퓨팅 관련 기술 등을 만날 수 있었다.
행사는 오전 기조연설과 고객 패널 토론에 이어 오후에는 ‘Data & AI’, ‘Automation, Hybrid Cloud’, 산업별 비즈니스 등 3개 트랙으로 확장됐다. 에이전틱 AI와 데이터 활용, AI 에이전트 구축, 하이브리드 클라우드부터 금융·제조·자동차·유통 등 산업별 AI 전환 사례까지 폭넓게 다뤘으며, 전시 공간에서는 IBM의 AI·클라우드·양자 기술과 파트너 솔루션을 직접 체험할 수 있었다.
IBM이 이날 반복해서 제시한 메시지는 AI 모델의 성능 경쟁보다 AI를 기업의 실제 운영 안으로 가져오는 역량에 가까웠다. 개인의 생산성을 높이는 도구로 AI의 가능성을 확인했다면 다음 단계에서는 기업 곳곳에 흩어진 데이터와 시스템을 연결하고, AI와 에이전트가 실제 업무를 수행할 수 있는 권한과 통제 체계를 함께 설계해야 한다. AI라는 ‘전구’를 켜는 단계를 지나 이를 기업의 ‘조립 라인’에 연결하는 것, IBM이 바라보는 엔터프라이즈 AI의 다음 경쟁은 여기서 시작된다.
The post “AI 전구는 이미 켜졌다”…IBM, AI·하이브리드 클라우드·양자로 그린 다음 전략 appeared first on 벤처스퀘어.