기업의 AI 도입 속도를 늦추는 병목은 모델 개발보다 앞단의 데이터에서 발생하는 경우가 많다. 여러 시스템에 흩어진 원시 데이터를 수집하고 정제해 분석 가능한 형태로 바꾸는 과정이 끝나야 모델 학습과 추론을 시작할 수 있다. 대규모 데이터 파이프라인을 처리하는 아파치 스파크 작업이 수 시간씩 이어지면 AI 프로젝트 일정뿐 아니라 클라우드 컴퓨팅 비용도 함께 늘어난다. 클라우데라가 기존 파이스파크와 SQL 코드를 유지하면서 데이터 준비 작업을 GPU로 가속하는 기능을 도입했다.
하이브리드 데이터 및 AI 플랫폼 기업 클라우데라는 클라우데라 데이터 엔지니어링에 엔비디아의 쿠다-X(CUDA-X) 라이브러리인 ‘cuDF’를 기반으로 한 아파치 스파크 4.1용 네이티브 GPU 가속 기능을 탑재했다.
클라우데라 로고 (자료 제공: 클라우데라)
아파치 스파크는 여러 서버에 데이터를 분산해 대규모 연산을 수행하는 오픈소스 데이터 처리 엔진이다. 기업에서는 데이터 추출·변환·적재(ETL)와 배치 분석, 머신러닝 및 AI 학습에 필요한 데이터 준비 과정에 주로 활용한다.
cuDF는 엔비디아 GPU에서 데이터프레임 연산을 처리하도록 설계된 라이브러리다. 아파치 스파크용 cuDF 플러그인은 스파크의 SQL과 데이터프레임 연산 가운데 GPU에서 처리할 수 있는 작업을 식별해 CPU 대신 GPU에서 실행한다.
사용자는 기존 파이스파크나 SQL 애플리케이션의 코드를 수정하지 않고 GPU 가속을 적용할 수 있다. 클라우데라는 드라이버와 플러그인 설정을 데이터 엔지니어링 서비스에 내장해 기업이 별도의 GPU 실행 환경을 직접 구성해야 하는 부담도 줄였다.
엔비디아의 호환성 안내에 따르면 cuDF 플러그인은 아파치 스파크 3.3 이상과 스파크 4.1.1 등을 지원한다. GPU를 적용하려는 기업은 기존 스파크 작업에 포함된 연산과 데이터 구조가 가속에 적합한지 확인할 수 있는 분석 도구도 이용할 수 있다.
클라우데라는 cuDF를 적용한 스파크 작업이 기존 CPU 인프라와 비교해 엔비디아 GPU에서 최대 4배 빨라질 수 있다고 설명했다. 데이터 처리 시간을 줄이면 동일한 작업을 위해 클라우드 인스턴스를 실행하는 시간도 짧아져 컴퓨팅 비용 절감으로 이어질 수 있다.
가속 기능은 데이터 정제와 결합, 집계, 변환 등 분석 및 AI에 필요한 데이터 준비 과정에 적용된다. 기존 애플리케이션과 운영 절차를 유지하면서 실행 환경을 GPU로 전환할 수 있어 이미 대규모 스파크 파이프라인을 운영하는 기업의 전환 비용도 낮출 수 있다.
GPU 성능을 하이브리드 환경의 운영 기준으로 연결
이번 기능은 클라우데라가 EVOLVE26 싱가포르에서 공개한 ‘클라우데라 애니웨어 클라우드(Cloudera Anywhere Cloud)’의 일부로 제공된다. 애니웨어 클라우드는 퍼블릭 클라우드와 프라이빗 클라우드, 소버린 클라우드, 기업 데이터센터 등 서로 다른 환경에서 데이터와 AI 서비스를 동일한 운영 기준으로 사용할 수 있도록 설계된 플랫폼이다.
기업은 데이터의 보관 위치를 바꾸지 않고 각 환경에서 스파크 작업을 실행하면서 클라우데라 통합 데이터 패브릭의 접근 권한과 보안 정책, 데이터 계보, 감사 기능을 적용할 수 있다. 규제나 데이터 주권 문제로 데이터를 특정 국가 또는 기업 내부에 보관해야 하는 조직도 같은 관리 체계 안에서 GPU 가속을 활용할 수 있다는 설명이다.
단일 퍼블릭 클라우드에 종속된 가속 서비스와 달리 온프레미스와 여러 클라우드 환경에서 동일한 파이프라인을 운영할 수 있다는 점도 클라우데라가 내세우는 차별점이다. 기업은 데이터의 민감도와 처리 비용, GPU 자원의 가용성에 따라 작업 위치를 선택하면서 운영 정책은 일관되게 유지할 수 있다.
클라우데라가 기업 데이터·인프라 담당자 1500명을 조사해 발표한 ‘AI 아키텍처 대전환(The Great AI Re-Architecture)’ 보고서에서는 응답자의 84%가 AI 워크로드로 인해 인프라 비용이 증가했다고 답했다. 66%는 지난 1년 동안 AI 워크로드를 퍼블릭 클라우드에서 프라이빗 클라우드나 온프레미스로 이동한 경험이 있다고 응답했다.
레오 브루닉 클라우데라 최고제품책임자(CPO)는 “많은 기업에서 AI의 걸림돌은 모델보다 원시 데이터를 얼마나 빠르게 신뢰할 수 있고 활용 가능한 인사이트로 전환할 수 있는지에 있다”며 “스파크 가속을 통해 데이터 준비에서 분석과 AI 단계로 이동하는 시간을 줄이면서 거버넌스와 보안, 운영의 일관성을 유지할 수 있다”고 말했다.
팻 리 엔비디아 전략적 기업 파트너십 부사장은 “AI 도입을 가속하는 가장 빠른 방법은 기업이 현재 운영하는 방식에 부합하는 것”이라며 “파이스파크나 SQL 코드를 수정하지 않고 스파크 파이프라인의 비용을 줄이고 속도를 높일 수 있다”고 설명했다.
GPU 가속 기능은 8월 20일부터 클라우데라 데이터 엔지니어링에서 제공된다. 실제 성능 향상 폭은 데이터의 규모와 형식, 스파크 연산의 종류, GPU 구성 및 CPU로 처리되는 작업의 비중에 따라 달라질 수 있다.
기업이 확인해야 할 지표도 최대 가속 배수보다 전체 작업에 투입되는 비용과 시간이다. GPU의 시간당 이용료가 CPU보다 높더라도 작업 완료 시간이 충분히 짧아지고 같은 자원으로 더 많은 파이프라인을 처리할 수 있다면 전체 비용은 낮아질 수 있다. 클라우데라가 고객 환경에서 GPU 사용률과 CPU 전환 구간, 작업당 비용을 얼마나 투명하게 제시하는지가 실제 도입을 결정하는 기준이 될 전망이다.
The post 파이스파크 코드 그대로 GPU로…클라우데라, 데이터 준비 속도 최대 4배 높인다 appeared first on 벤처스퀘어.