AI 데이터센터의 경쟁 기준이 GPU 보유량에서 실제 AI 서비스를 얼마나 효율적으로 처리하느냐로 이동하고 있다. 생성형 AI 이용자가 소비하는 것은 GPU 자체가 아니라 모델이 만들어내는 토큰인 만큼 데이터센터의 경제성 역시 단위 시간과 비용당 토큰 생산량을 중심으로 다시 계산될 수 있다. 여기에 엔비디아와 AMD, NPU 등 서로 다른 종류와 세대의 가속기가 데이터센터에 함께 배치되면서 특정 하드웨어 중심의 운영 방식에도 변화가 요구되고 있다. AI 인프라 솔루션 기업 모레(MOREH, 대표 조강원)가 이런 변화를 ‘토큰 팩토리(Token Factory)’라는 개념으로 정의하고 이기종 AI 반도체를 하나의 자원처럼 운영하는 소프트웨어 전략을 공개했다.
모레는 15~17일(현지시간) 미국 산타클라라 컨벤션센터에서 열리는 ‘AI 인프라 서밋 2026’에 참가해 ‘토큰 팩토리 OS’와 이기종 가속기 기반 분산 추론 기술을 선보였다. AI 인프라 서밋은 AI 팩토리 구축과 확장에 필요한 컴퓨팅과 네트워킹, 시스템, 소프트웨어, 물리적 인프라 기술을 다루는 글로벌 AI 인프라 행사다. 올해 행사에는 8000명 이상의 업계 관계자와 250개 이상의 파트너사가 참여했다.
모레가 ‘AI 인프라 서밋 2026’에서 엔비디아·AMD·텐스토렌트 등 이기종 가속기를 하나의 자원처럼 활용하는 ‘토큰 팩토리 OS’와 분산 추론 기술을 공개했다. (사진 제공: 모레)
조강원 모레 대표는 행사 첫날 AI 컴퓨팅 세션에서 ‘이기종 가속기 데이터센터를 위한 LLM 서빙 프레임워크’를 주제로 발표했다. 조 대표는 AI 데이터센터의 사업 모델이 GPU 용량을 제공하는 방식에서 API를 통해 소비되는 토큰을 효율적으로 생산하는 구조로 변화하고 있다고 설명했다.
이 같은 관점에서는 개별 GPU의 최대 성능보다 데이터센터에 배치된 전체 연산 자원을 어떻게 조합하느냐가 중요해진다. 모델과 요청 유형에 따라 적합한 가속기를 배치하고 추론 과정에서 발생하는 연산을 분산하면 기존 장비를 포함한 데이터센터 전체 자원의 활용도를 높일 수 있다는 접근이다.
H100은 프롬프트, MI300X는 응답 생성…가속기 장점 조합
모레가 공개한 ‘토큰 팩토리 OS’는 특정 GPU나 추론 엔진에 종속되지 않고 데이터센터 안의 여러 가속기를 하나의 자원 풀처럼 운용하기 위한 AI 인프라 소프트웨어 개념이다. 모델과 요청의 특성, 각 가속기의 연산 성능을 고려해 추론 경로를 구성하고 서로 다른 하드웨어에서 처리되는 연산과 데이터를 연결한다.
핵심 기술 가운데 하나가 ‘MoAI Inference Framework’다. 엔비디아와 AMD, 텐스토렌트 등 아키텍처가 다른 가속기를 하나의 논리적 클러스터로 묶고 추론 작업을 각 하드웨어의 특성에 맞춰 분산한다. 특정 가속기의 성능에 전체 시스템을 맞추는 대신 서로 다른 AI 반도체의 장점을 조합해 전체 추론 효율을 높이는 방식이다.
모레는 이번 행사에서 엔비디아 H100과 AMD MI300X를 결합한 분산 추론 사례도 공개했다. 대규모언어모델(LLM) 추론 과정 가운데 입력 프롬프트를 처리하는 프리필(Prefill)은 H100이 담당하고, 이후 토큰을 순차적으로 생성하는 디코드(Decode)는 MI300X가 처리하도록 역할을 나눴다.
두 가속기 사이의 데이터는 모레의 분산 추론 소프트웨어로 연결했다. 회사 측 테스트 결과 이 같은 구성에서 동일 벤더 가속기로 구성한 시스템과 비교해 최대 1.67배의 처리량 향상을 확인했다. 하나의 GPU가 전체 추론 과정을 담당하는 대신 작업 단계별로 적합한 가속기를 배치할 수 있다는 점을 보여주는 사례다.
모레는 이기종 가속기 분산 추론을 데이터센터 전체로 확대해 엔비디아·AMD GPU뿐 아니라 NPU와 기존 세대 가속기까지 하나의 인프라에서 활용하는 구조를 구축하고 있다. 데이터센터 사업자가 특정 하드웨어 공급사에 종속되지 않고 보유한 연산 자원을 조합해 토큰 생산량과 비용 효율을 최적화할 수 있도록 하는 것이 목표다.
조강원 모레 대표는 “AI 데이터센터는 이제 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 ‘토큰 팩토리’로 진화하고 있다”며 “중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐”라고 말했다.
이어 “다양한 종류와 세대의 가속기를 하나의 인프라처럼 활용할 수 있는 분산 추론 소프트웨어가 필요하다”며 “고객이 특정 하드웨어에 종속되지 않고 자신에게 효율적인 토큰 팩토리를 구축할 수 있도록 지원하겠다”고 말했다.
모레는 GPU 자원 활용과 클러스터링 기술을 기반으로 AMD GPU 환경에서 AI 모델 최적화 기술을 개발해왔다. 현재 GPU와 NPU 등 서로 다른 가속기를 논리적 클러스터로 연결하는 MoAI Inference Framework와 분산 추론 기술을 토대로 토큰 팩토리 OS를 개발하고 있다. 자회사인 AI 파운데이션 모델 기업 모티프테크놀로지스를 통해 AI 모델 영역까지 사업 범위를 연결하고 있다.
The post 모레, GPU를 넘어 토큰 생산으로…AI 데이터센터용 토큰 팩토리 OS 공개 appeared first on 벤처스퀘어.