AI의 과학 추론 능력은 이미 공개된 문제를 사후에 푸는 벤치마크만으로 정확하게 평가하기 어렵다. 모델이 학습 과정에서 문제와 정답을 접했을 가능성이 있고 제한시간이나 사용할 수 있는 도구도 실제 시험과 다르기 때문이다. 아스테로모프는 국제물리올림피아드 현장에서 처음 공개된 이론시험지를 받아 사람 참가자와 같은 5시간 동안 AI 모델을 작동시켰다. 회사에 따르면 모델은 인터넷 검색과 외부 AI 호출, 사람의 개입 없이 답안을 완성해 30점 만점에 28.6점을 받았다.
과학기술 난제 해결용 AI를 개발하는 아스테로모프는 자사 AI 모델이 지난 7월 콜롬비아 부카라망가에서 열린 제56회 국제물리올림피아드(IPhO 20266) 이론시험 현장 평가에서 28.6점을 기록했다고 31일 발표했다.
아스테로모프가 수상한 금메달 성적 인정 디플로마 및 메달 (자료 제공: 아스테로모프)
고동현 부사장을 중심으로 한 엔지니어팀은 이론시험이 진행된 7월 8일 오전 9시부터 오후 2시까지 현지에서 시스템을 운영했다. AI 모델은 각국 학생 대표에게 제공된 시험지를 입력받아 동일한 5시간 안에 풀이와 최종 답안 생성을 마쳤다.
아스테로모프에 따르면 제출한 답안은 국제물리올림피아드 공식 채점위원들이 대회 기준에 따라 평가했다. 조직위원회는 해당 이론 성적을 금메달급으로 인정하고 AI 모델의 이름을 기재한 별도 디플로마와 메달을 수여했다.
시험에 사용한 시스템은 여러 오픈소스 대규모 언어모델(LLM)과 아스테로모프가 자체 개발한 모델 및 구성요소를 결합해 구축했다. 연산에는 아마존웹서비스(AWS)의 클라우드 인프라를 활용했다.
시험이 시작된 뒤에는 온라인에서 정보를 검색하거나 외부 상용 모델의 API를 호출하지 않았다. 문제 입력과 해석, 풀이 전략 수립, 계산과 검증, 최종 답안 작성까지 시스템 내부에서 처리했으며 시험 도중 사람이 풀이 과정에 개입하지 않았다는 것이 회사의 설명이다.
국제물리올림피아드 시험은 텍스트와 수식뿐 아니라 그래프와 그림, 물리적 상황을 설명하는 도식을 함께 해석해야 한다. 아스테로모프는 문제를 텍스트로 다시 정리해 제공하지 않고 실제 시험지를 입력해 서로 다른 형태의 정보를 종합적으로 처리하도록 멀티모달 시스템을 구성했다.
이번 현장 AI 평가에는 아스테로모프 외에 메타의 AI 연구조직 메타 슈퍼인텔리전스 랩스와 중국 화웨이도 참여했다고 회사는 설명했다. 각 기관이 사용한 모델과 점수, 세부 평가 조건은 이번 자료에 포함되지 않았다.
아스테로모프 역시 결합한 오픈소스 모델의 명칭과 연산 자원 규모, 프롬프트 구성, 추론 횟수, 실행 로그 등은 공개하지 않았다. 결과를 외부에서 재현하고 다른 시스템과 객관적으로 비교하려면 세부 평가 조건과 채점 자료를 추가로 제시할 필요가 있다.
학생 공식 경쟁에서는 한국 대표 5명이 모두 금메달을 받았다. 과학기술정보통신부는 서울과학고 오주하 학생이 개인 종합 1위를 기록하는 등 한국 대표단 전원이 금메달을 획득했다고 공식 발표했다.
아스테로모프는 2025년 2월 설립된 스타트업으로 물리학을 비롯한 과학기술 분야의 고난도 문제를 해결하는 AI 모델과 추론 시스템을 개발하고 있다.
아스테로모프 관계자는 “최신 상용 모델에 의존하지 않고 오픈소스 모델과 자체 구축한 AI 시스템으로 고난도 물리 문제를 해결할 수 있다는 점을 확인했다”며 “LLM 자체의 성능뿐 아니라 복합적인 추론 과정을 설계하고 운영하는 시스템 역량도 중요하다”고 말했다.
The post 인터넷 없이 5시간, 물리올림피아드 이론 28.6점…아스테로모프 AI 현장 평가 appeared first on 벤처스퀘어.