AI가 이미 정답이 존재하는 시험을 얼마나 잘 푸는지를 넘어 아직 일어나지 않은 사건의 확률까지 얼마나 정확하게 판단할 수 있는지를 평가하는 경쟁이 이어지고 있다. 미래 예측에서는 공개된 지식을 검색하거나 학습한 답을 재현하는 능력보다 불완전한 정보를 바탕으로 여러 가능성의 확률을 판단하는 역량이 중요하다. 특히 금융시장에서는 경제지표와 시장 데이터, 정책과 투자자 행동 등 서로 다른 변수가 동시에 움직이기 때문에 이런 불확실성을 다루는 능력이 AI 활용의 주요 과제로 꼽힌다. 금융 AI 스타트업 뉴로퓨전이 실제 미래 사건을 대상으로 성능을 검증하는 글로벌 벤치마크에서 선행 리더보드 1위를 기록했다.
금융 AI 투자 플랫폼 ‘Valley AI(밸리 AI)’ 운영사 뉴로퓨전(대표 최한철)은 자사 금융 AI 연구팀이 글로벌 AI 미래 예측 벤치마크 ‘ForecastBench’의 선행(Preliminary) 리더보드에서 1위를 기록했다.
뉴로퓨전이 공개한 2026년 9월 18일 기준 ForecastBench 선행 리더보드. 뉴로퓨전 금융 AI 연구팀 모델이 데이터셋 부문에서 브라이어 지수 기준 67.5점을 기록했다. (자료 제공: 뉴로퓨전)
ForecastBench는 경제와 금융, 정치, 기술 등 여러 분야에서 아직 결과가 확정되지 않은 실제 사건의 발생 확률을 AI가 예측하고 이후 실제 결과와 비교해 성능을 평가하는 벤치마크다. 필립 테틀록(Philip Tetlock) 펜실베이니아대 와튼스쿨 교수 등이 참여한 Forecasting Research Institute(FRI)가 운영하며 ICLR 2025에 채택됐다.
기존 데이터셋처럼 이미 정답이 알려진 문제를 평가하는 방식과 달리 제출 당시 결과가 나오지 않은 미래 사건을 질문으로 사용한다. 문제는 2주마다 새롭게 생성되며 FRED와 야후 파이낸스 등 경제·금융 시계열 데이터와 폴리마켓(Polymarket), 메타큘러스(Metaculus) 등의 미래 사건을 활용한다.
2024년 시작된 ForecastBench는 2주 단위로 새로운 질문을 제시하는 방식으로 운영되고 있다. 2025년 외부 참가가 개방된 이후 구글 딥마인드와 xAI를 비롯한 AI 연구팀과 예측 분야 기업들이 모델을 제출하고 있다.
464개 모델 중 67.5점…인간 전문 예측가와도 같은 기준으로 비교
뉴로퓨전 연구팀은 데이터셋 부문을 평가하는 선행 리더보드에서 브라이어 지수(Brier Index) 기준 67.5점을 기록해 총 464개 모델 가운데 1위에 올랐다. 회사에 따르면 연구 과정에서 익명으로 제출한 뉴로퓨전 모델까지 포함하면 리더보드 1~4위를 차지했다.
뉴로퓨전이 공개한 9월 18일 기준 선행 리더보드에서 5위 팀은 65.9점, 구글 딥마인드의 최상위 모델은 65.0점을 기록했다. 다만 현재 결과는 데이터셋 부문의 선행 리더보드 성적이며 향후 마켓 예측 부문 결과가 추가돼야 종합 순위가 결정된다.
ForecastBench는 AI 모델뿐 아니라 전문 예측가 집단인 ‘슈퍼포캐스터’의 결과도 기준점으로 제공한다. 뉴로퓨전의 데이터셋 브라이어 지수 점수는 67.5점으로 슈퍼포캐스터 기준점인 63.6점을 웃돌았다. 이번 비교 역시 선행 리더보드의 해당 평가 기준에 따른 결과다.
뉴로퓨전은 이번 성과의 기반으로 금융시장과 예측 분야에 적용하기 위해 개발 중인 4단 동적 시계열 그래프 ‘Demian(데미안)’과 금융 데이터 인프라를 꼽았다. 회사는 지난 4년 동안 530개 이상의 데이터 파이프라인과 167개 금융 특화 MCP를 구축했으며 이를 금융 특화 추론 기술과 결합하고 있다.
지난 7월에는 자체적으로 구성한 84문항 금융 평가 세트에서 범용 AI 모델과 성능을 비교했다. 이번에는 외부 공개 벤치마크에서 다른 글로벌 AI 모델과 같은 평가 체계로 미래 사건의 확률 예측 성능을 시험했다는 점에 의미를 뒀다.
최한철 뉴로퓨전 대표는 “사회과학에서의 미래 예측에는 퀀트 영역의 귀납적 추론과 범용 LLM을 기반으로 한 연역적·귀추적 추론에 더해 금융시장 참여자인 인간의 사고·인지·감정의 동역학을 이해하는 별도의 아키텍처가 필요하다”며 “글로벌 무대에서 검증된 예측 역량을 Valley AI의 리서치 기능 전반에 적용해 투자자가 보다 정교한 분석을 바탕으로 판단할 수 있도록 지원하겠다”고 말했다.
뉴로퓨전은 최 대표가 S&P Global 기업본부 리드 데이터 사이언티스트와 헤지펀드 트레이더 등을 거쳐 설립한 금융 AI 기업이다. 회사에 따르면 올해 1월 정식 출시한 Valley AI는 유료 구독자 1만명과 무료 회원 3만명 이상을 확보했으며 이달 투자 분석과 금융 추론에 특화한 리서치 AI 에이전트 ‘CereFin(세레핀)’을 탑재했다.
The post 뉴로퓨전, 아직 안 일어난 미래 맞히는 AI 벤치마크 1위…슈퍼포캐스터 점수도 넘어 appeared first on 벤처스퀘어.