AI가 정확한 답을 생성하려면 먼저 방대한 문서 가운데 질문과 관련된 정보를 제대로 찾아야 한다. 검색 임베딩 모델은 질문과 문서의 의미를 수치화해 서로 연관성이 높은 자료를 선별하는 역할을 한다.
사이오닉에이아이는 실제 검색 환경의 복잡성을 학습한 ‘comsat-embed’를 개발하고 한국어와 일본어 모델을 공개했다. 회사가 공개한 MTEB 검색 평가 결과에 따르면 한국어 8B 모델과 일본어 8B 모델은 각각 비교 대상 가운데 가장 높은 평균 점수를 기록했다. 이번 모델은 언어와 분야, 질문 형태가 달라져도 안정적인 검색 성능을 구현하려는 ‘EUREKA’ 프로젝트의 첫 결과물이다.
사이오닉에이아이, 한국어 검색 임베딩 모델 공개 (자료 제공: 사이오닉에이아이)
짧은 키워드부터 장문 질문까지 실제 검색 구조 반영
한국어 모델 ‘comsat-embed-ko-8b-preview’는 MTEB 한국어 검색 영역의 9개 데이터셋에서 평균 NDCG@10 79.30을 기록했다. 같은 비교 평가에서 알리바바의 ‘Qwen3-Embedding-8B’는 78.25, 마이크로소프트의 27B 모델 ‘Harrier-OSS-v1-27B’는 76.69로 나타났다.
NDCG@10은 검색 결과 상위 10개 문서가 실제 정답과 얼마나 관련돼 있으며 적절한 순서로 배치됐는지를 평가하는 지표다. 점수가 높을수록 질문과 연관성이 큰 문서를 검색 결과 상단에 정확하게 배치했다는 의미다.
일본어 8B 모델 ‘comsat-embed-ja-8b-preview’는 MTEB 일본어 검색 영역의 11개 데이터셋에서 평균 NDCG@10 81.33을 기록하며 비교 모델 가운데 가장 높은 점수를 얻었다. 파라미터 3억개 규모의 ‘comsat-embed-ja-0.3b-preview’도 77.85를 기록해 4B 이하 비교 모델 중 선두에 올랐다.
사이오닉에이아이는 모델 학습 과정에서 실제 검색 서비스에서 발생하는 질문과 문서의 다양한 형태를 반영했다. 사용자의 질문은 짧은 키워드부터 여러 문단을 종합해야 하는 문장까지 구성하고, 검색 대상도 짧은 문장과 장문을 함께 활용했다. 정답이 문서의 첫 부분에만 등장하지 않도록 위치를 다양화했으며 하나의 질문에 여러 문서가 연결되거나 하나의 문서가 여러 질문의 답이 되는 1대다·다대1 관계도 학습시켰다.
정답과 의미는 비슷하지만 실제 답은 아닌 문서를 구별하기 위해 ‘하드 네거티브 마이닝’도 적용했다. 여기에 성능이 높은 교사 모델의 검색 순서를 작은 모델이 학습하는 지식 증류 방식을 더했다. 특정 데이터셋의 큰 점수 상승으로 다른 평가셋의 하락을 보완하기보다 전체 데이터셋에서 고른 개선을 만드는 데 초점을 맞췄다는 게 회사 측 설명이다.
EUREKA는 ‘Extremely Universal Robust Embedding for Knowledge Access’의 약자로, 언어와 도메인, 질문 방식이 바뀌어도 필요한 지식을 안정적으로 찾는 범용 임베딩 모델 개발 프로젝트다. 한국어와 일본어 comsat-embed 모델은 현재 허깅페이스에 프리뷰 버전으로 공개돼 있다.
벤치마크에서 확인한 고른 검색 성능을 실제 기업 데이터와 복합적인 사용자 질문에서도 재현할 수 있는지가 comsat-embed의 다음 검증 과제다.
The post 질문·문서를 1대다로 학습했더니…사이오닉AI, 한·일 검색 평가 선두 appeared first on 벤처스퀘어.