기업이 생성형 AI와 분석 시스템에 더 많은 데이터를 투입하고 있지만 데이터의 양이 곧 AI 경쟁력으로 이어지는 것은 아니다. 수집해 놓고 거의 사용하지 않는 데이터와 중복되거나 오래된 정보가 쌓이면 AI가 활용해야 할 데이터의 품질과 신뢰성을 판단하기 어려워진다. 어떤 데이터가 어디에 있고 누가 사용하며 최신 정보인지 파악하는 데이터 관리 역량이 AI 도입의 선행 조건으로 떠오르는 이유다. 에버퓨어와 시장조사기관 옴디아의 조사에서는 기업 데이터의 3분의 1 이상을 이른바 ‘다크 데이터’가 차지하는 조직이 상당수인 것으로 나타났다.
스토리지 및 데이터 관리 기업 에버퓨어(구 퓨어스토리지)는 시장조사기관 옴디아(Omdia)와 ‘기업 데이터 준비도 격차 분석(Exploring the enterprise data readiness gap)’ 보고서를 발표했다. 보고서는 기업이 수집·저장했지만 거의 재사용하지 않는 정보를 ‘다크 데이터(dark data)’로 분류했다. 여기에는 중복되거나 오래됐거나 불필요한 ROT(Redundant, Obsolete and Trivial) 데이터도 다수 포함된다.
조사 결과 응답 조직의 99%가 다크 데이터를 보유하고 있었다. 51~75%의 조직에서는 다크 데이터가 전체 기업 데이터의 37% 이상을 차지하는 것으로 나타났다.
문제는 기업의 AI 프로젝트가 파일럿을 넘어 실제 업무 환경으로 이동하는 과정에서 이러한 데이터 관리 문제가 드러나고 있다는 점이다. 조사 조직의 97%가 AI 파일럿을 실제 운영 환경으로 전환하는 데 어려움을 겪고 있었으며 62%는 그 장애 수준을 중간 이상 또는 심각한 수준으로 평가했다.
IT 리더의 68%는 AI를 실제 운영 환경으로 전환할 때 데이터 관리를 가장 큰 과제로 꼽았다. 63%는 스토리지 사일로와 데이터의 무분별한 분산·증가를 AI 활용의 주요 장벽으로 지목했다.
에버퓨어 로고 (자료 제공: 에버퓨어)
AI에 데이터 더 넣기 전에…가치와 위험부터 나눈다
기업이 다크 데이터의 위험성을 인식한다고 해서 실제 데이터 현황까지 파악하고 있는 것은 아니었다. 조사에서 IT 리더의 76%는 다크 데이터를 중대한 비즈니스 위험으로 봤고 75%는 실행 가능한 인사이트를 도출하는 것이 AI 활용에 중요하다고 답했다. 반면 조직의 58%는 데이터 환경에 대한 기본적인 가시성조차 확보하지 못한 것으로 조사됐다.
에버퓨어와 옴디아는 데이터를 ‘비즈니스 가치’와 ‘위험’이라는 두 축으로 구분해 관리하는 방식을 제시했다. 고가치·고위험 데이터는 엄격한 거버넌스와 접근통제, 보안 아래 활용하고 고가치·저위험 데이터는 AI 프로젝트에 빠르게 활용할 수 있도록 탐색과 활성화를 우선하는 방식이다.
반대로 저가치·고위험 데이터는 보안을 강화하면서 최소화하거나 삭제해 규제 준수와 보안 위험을 낮추고 저가치·저위험 데이터는 아카이빙 또는 삭제해 스토리지 비용과 데이터 증가를 관리하도록 제안했다.
특히 AI에 데이터를 공급하기 전 중복·노후·불필요한 ROT 데이터를 식별하고 정리하는 과정이 필요하다고 분석했다. SaaS와 하이브리드 클라우드, 온프레미스에 데이터가 분산된 환경에서는 데이터의 위치와 사용 현황, 최신성과 정확성을 파악할 수 있어야 AI에 사용할 데이터셋의 신뢰성을 확보할 수 있다는 설명이다.
전인호 에버퓨어코리아 지사장은 “국내 기업들이 빠른 속도로 AI 도입을 확대하고 있지만 데이터에 대한 가시성이 확보되지 않은 상태에서 속도만 높이는 것은 위험할 수 있다”며 “어떤 데이터셋에 대해서도 ‘어디에 있는가’, ‘누가 사용하고 있는가’, ‘신뢰할 수 있는가’라는 세 가지 질문에 명확히 답할 수 있어야 한다”고 말했다.
사이먼 로빈슨(Simon Robinson) 옴디아 수석 애널리스트는 기업 데이터 준비도 격차를 파악하고 해소하려면 데이터에 대한 가시성을 확보해야 한다고 강조했다. 파편화되거나 제대로 파악되지 않았던 데이터를 신뢰할 수 있는 정보로 전환하면 AI 구축과 의사결정에 활용할 수 있다는 설명이다.
아시시 굽타(Ashish Gupta) 에버퓨어 데이터 관리 부문 총괄은 “기업은 신뢰할 수 없는 데이터를 기반으로 신뢰할 수 있는 AI를 구축할 수 없다”며 “더 나은 AI를 위한 해법은 단순히 더 많은 데이터를 추가하는 것이 아니라 관련성이 높고 풍부한 맥락을 갖춘 데이터를 사용하는 데 있다”고 말했다.
The post 에버퓨어, 기업 데이터 3분의 1 이상 잠자고 있다…AI 운영 막는 다크 데이터 appeared first on 벤처스퀘어.