수술실에서 집도의가 “클립 주세요”라고 말한다. 음성을 인식한 휴머노이드 로봇은 트레이 위에 놓인 수술 도구 가운데 클립을 찾아 집어 의료진에게 건넨다. 복강경 수술에서는 “잡아”, “뒤로”와 같은 음성 명령을 받아 조직을 잡아당기고, 내시경을 잡은 로봇은 수술 도구의 움직임을 따라 시야를 조절한다. 수술에 대한 판단은 의료진이 내리고 휴머노이드가 그 옆에서 필요한 일을 나눠 맡는 모습이다.
16일 삼성서울병원 히포크라테스홀에서 피지컬 AI 기반 휴머노이드 수술 보조 로봇 ‘ORchestra(오케스트라)’의 라이브 시연회가 열렸다. 이번 시연은 완성된 수술 로봇을 공개하는 자리가 아니다. ORchestra는 5년간 진행되는 한국형 ARPA-H 프로젝트로, 현재 2차년도 중반까지 개발한 기술을 실제 의료진과 로봇의 협업으로 확인하는 중간 점검 성격이다.
한국형 ARPA-H 프로젝트는 국가 보건의료 난제를 해결하기 위한 임무 중심형 연구개발 사업이다. 신속한 의사결정과 실패를 감수하는 도전적 연구, 여러 분야의 융합, 프로젝트 매니저(PM) 중심의 연구 수행을 내세운다. ORchestra팀은 이 가운데 ‘신뢰 가능한 시각·언어·행동 모델 인공지능 기반 휴머노이드형 수술 보조 로봇 개발’을 진행하고 있다.
출발점은 수술실의 인력 문제였다. 응급수술이 필요해도 보조 인력을 구하지 못하거나 숙련된 간호 인력이 빠져나가면 새로운 인력을 다시 교육해야 한다. 인력 확보가 어려운 지역 의료기관이나 야간 응급 상황에서는 수술팀을 꾸리는 일 자체가 부담이 될 수 있다. 연구진은 이런 현장에서 집도의의 판단을 대신하기보다 도구 전달과 내시경 유지, 조직 견인처럼 수술 과정에 필요한 보조 업무를 로봇이 맡을 수 있는지를 연구하고 있다. 프로젝트의 최종 목표 역시 사람을 대신해 수술하는 ‘로봇 의사’보다 의료진과 같은 공간에서 함께 움직이는 ‘지능형 수술 조수’에 가깝다.
ORchestra 라이브 시연에서 휴머노이드 수술 보조 로봇이 의료진과 함께 복강경 수술 보조 동작을 수행하고 있다.
“클립 주세요” 알아듣고 건넨다…수술실에 들어온 피지컬 AI
현재 시제품은 집도의의 음성을 듣고 필요한 수술 도구를 찾아 전달한다. “클립 주세요”라는 요청이 들어오면 소독 간호사 역할을 맡은 로봇이 음성을 인식하고 카메라 영상에서 트레이 위 클립의 종류와 위치를 확인한다. 이어 도구를 집어 의료진에게 전달한다. 음성 명령을 실제 물리적 행동으로 연결하는 피지컬 AI다.
자연어 명령은 먼저 텍스트로 변환되고 카메라 영상과 결합된다. 이후 역기구학 계산과 반복 학습 데이터를 이용해 로봇이 움직일 경로를 만든다. 실험실 평가에서 음성 명령 인식률과 동작 성공률은 모두 1단계 목표인 95%를 넘었다. 수술 도구 5종의 집기 성공률은 100%, 전달 성공률은 98.7%를 기록했다. 명령을 인식한 뒤 동작을 시작하기까지 걸리는 시간은 현재 2초 이내이며 최종 목표는 1초 이내다.
복강경 수술에서는 더 복잡한 보조 업무를 겨냥한다. 집도의가 “잡아”, “뒤로”처럼 말하면 어시스트 로봇이 조직을 잡고 당기는 리트랙션을 수행하는 방식이다. 수술 중 의료진이 반복적으로 조직을 잡아당기지 않아도 안정적인 수술 시야를 확보하는 것이 목표다. 다만 사람의 손처럼 조직의 긴장도를 느끼면서 적절한 힘을 조절하는 정밀 견인은 아직 추가 연구가 필요하다. 출혈이나 연기가 발생하는 실제 수술 환경에서 AI가 안정적으로 작동하는지, 절개와 봉합 같은 고난도 술기를 어디까지 수행할 수 있는지도 남은 과제다.
로봇의 손도 하나로 정하지 않았다. 이번 시연에서는 두 개의 집게로 도구를 잡는 ‘2지 그리퍼(Two-Finger Gripper)’와 여러 손가락 관절을 독립적으로 움직이는 ‘다관절 로봇 핸드(Dexterous Robotic Hand)’를 함께 선보였다. 2지 그리퍼는 센서를 이용해 도구와 접촉했는지, 제대로 잡았는지를 확인하며 수술 기구를 안정적으로 전달하는 데 적합하다.
다관절 로봇 핸드는 사람의 손에 한층 가까운 움직임을 겨냥한다. 여러 손가락을 따로 움직일 수 있어 도구가 집기 어려운 위치에 놓였거나 서로 겹쳐 있을 때도 다양한 방식으로 접근할 수 있다. 아직 음성 명령에 맞춰 자유롭게 수술 도구를 다루는 단계까지 이른 것은 아니다. 앞으로 관련 데이터를 쌓으면서 동작의 안정성과 속도, 정교함을 높인다.
로봇의 ‘눈’에 해당하는 비전 기술은 내시경 조작에도 쓰인다. 복강경 화면에서 수술 도구의 위치를 인식하고 집도의의 움직임에 맞춰 내시경 시야를 조절한다. 작은 움직임마다 카메라가 따라가 화면이 흔들리지 않도록 일정 영역을 벗어났을 때만 위치를 다시 맞춘다. 두 개의 수술 도구가 화면에 들어오면 두 도구의 중앙을 따라가는 방식도 적용했다.
이 기능이 고도화되면 사람이 계속 내시경을 잡고 집도의의 손 움직임에 맞춰 시야를 조절하는 업무를 로봇과 나눌 수 있다. 연구진은 휴머노이드의 임상 적용 역시 위험도가 상대적으로 낮은 내시경 유지 업무부터 시작할 가능성을 높게 보고 있다. 이후 복강경 시야 조정과 조직 견인으로 범위를 넓히는 순서다.
의료진과 휴머노이드 수술 보조 로봇이 복강경 수술 상황을 가정해 협업 시연을 진행하고 있다. 로봇은 수술 도구 전달과 내시경 유지 등 의료진의 보조 업무를 수행한다.
다빈치와는 다르다…‘수술하는 로봇’보다 ‘함께 일하는 조수’
수술 로봇이라는 이름에서 가장 먼저 떠오르는 것은 다빈치지만 ORchestra가 만드는 로봇과 다빈치는 출발점부터 다르다. 다빈치는 의사가 콘솔에서 조종하며 수술을 수행하는 특수 목적 로봇이다. ORchestra는 기존 수술실에서 의료진과 공간을 공유하며 필요한 업무를 나눠 맡는 범용 보조 로봇을 지향한다.
특정 수술실에 고정하지 않는 것도 차이다. 필요한 수술실로 이동해 업무에 맞는 도구를 장착하고 사용할 수 있도록 설계했다. 여러 대의 로봇을 조합하면 한 대는 집도의의 수술을 보조하고 다른 한 대는 내시경을 잡는 식으로 역할을 나눌 수도 있다. 의료진과 여러 휴머노이드가 하나의 수술팀처럼 협업하는 형태다. 이번 시연에서도 사람이 원격 조종하는 로봇과 AI로 제어되는 수술 보조 로봇을 함께 활용했다.
사람처럼 두 발로 걷는 형태도 택하지 않았다. 바퀴가 달린 이동 플랫폼에 양팔을 결합했다. 수술실 바닥은 평평하고 이동 범위도 비교적 정형화돼 있어 걷는 능력보다 안정성과 정밀도가 중요하기 때문이다. 이족 보행 로봇은 구동부에 문제가 생기거나 외부 충격을 받았을 때 넘어질 가능성이 있지만 바퀴형 플랫폼은 안정된 자세를 유지하기 쉽다. 무게를 충분히 확보할 수 있다는 점도 정밀한 작업에는 유리하다. 연구진은 현재의 바퀴형 모바일 휴머노이드를 수술실에 적합한 형태로 보고 있다.
삼성서울병원이 프로젝트를 총괄하며 산·학·연·병이 함께 참여한다. 삼성서울병원은 임상 요구사항 정의와 실증을 주도하고 레인보우로보틱스가 로봇 본체, 에이딘로보틱스가 그리퍼와 손을 맡았다. 성균관대와 서울대는 AI 소프트웨어를 개발하며 국립암센터와 전북대병원 등은 데이터 수집과 실증에 참여한다.
수술실을 ‘데이터 팩토리’로…의사의 암묵지를 학습한다
휴머노이드의 팔과 손을 만드는 것만으로 수술 보조 로봇이 완성되는 것은 아니다. 로봇이 수술의 흐름을 이해하려면 숙련된 의료진이 언제 어떤 도구를 사용하고 어떻게 움직이는지 배워야 한다. 연구진이 수술실을 단순히 수술하는 공간이 아닌 ‘서지컬 데이터 팩토리(Surgical Data Factory)’로 보는 이유다.
핵심은 의료진의 ‘암묵지’를 데이터로 바꾸는 작업이다. 숙련된 의사가 경험으로 알고 있는 손의 움직임과 도구 사용 순서, 의료진 사이의 협업을 AI가 학습할 수 있는 형태로 만든다. 영상 센서로 손의 움직임을 기록하고 수술실에 설치한 카메라로 여러 의료진의 동선과 협업 상황을 수집한다. 내시경 영상에는 어떤 수술 장면인지, 어떤 도구를 사용했는지, 어떤 행동이 이뤄졌는지를 구분하는 정보를 붙인다.
수술 건수가 많다고 곧바로 좋은 AI 학습 데이터를 확보할 수 있는 것도 아니다. 서로 다른 병원에서 모은 데이터를 함께 학습하려면 수집 방식과 분류 기준이 맞아야 한다. 참여 기관들은 데이터 표준에 대한 논의를 진행했고 향후 4개 기관의 데이터를 같은 기준으로 취합할 예정이다. 기관 밖에서 데이터를 활용할 때는 데이터심의위원회(DRB) 심의와 승인, 비식별화 등 필요한 절차를 거친다.
휴머노이드형 수술 보조 로봇 시스템 라이브 시연회에서 연구진이 ORchestra 프로젝트의 개발 현황과 향후 계획을 설명하고 있다.
현재 프로젝트에는 9명의 전문의가 참여한다. 수술 장면을 보여주면 다음에 어떤 행동이 이어지고 어떤 도구가 필요한지를 예측하는 알고리즘도 개발했다. 아직 개별 집도의의 수술 방식까지 로봇에 구현하지는 않았지만 장기적으로는 의사마다 다른 수술 순서와 도구 사용 패턴을 학습해 개인화된 보조까지 연결한다.
예컨대 특정 집도의가 특정 수술 단계에서 어떤 도구를 주로 사용하는지 학습하면 명령을 내리기 전에 로봇이 다음 도구를 준비할 수 있다. 실제 연구진은 다음에 요청할 도구를 예측하는 모델과 비전·언어·행동(Vision-Language-Action, VLA)을 결합하는 기술도 개발하고 있다.
다만 수술에서 AI의 예측이 곧바로 행동으로 이어지는 것은 위험할 수 있다. 집도의마다 수술 방식이 다르고 같은 수술에서도 예상하지 못한 상황이 발생한다. 연구진이 중요하게 보는 것도 ‘틀리지 않는 AI’만이 아니라 오류가 생겼을 때 얼마나 빨리 멈추고 정상 상태로 돌아갈 수 있느냐다. 기존과 다른 상황을 감지하면 동작을 중단하고 의료진의 명령을 다시 받은 뒤 수행하는 방식도 연구하고 있다.
안전장치는 여러 단계로 구성된다. 긴급정지 음성 명령과 전용 페달, 버튼으로 로봇을 즉시 멈출 수 있다. 비상 정지 시에는 동작을 중단하고 뒤로 물러나며 관절의 힘이 풀려 의료진이 손으로 밀어낼 수 있는 상태가 된다. 정상 범위를 벗어난 움직임은 스스로 멈추고 의료진과 환자 주변에는 충돌을 막는 안전 영역을 둔다. 명령이 모호하거나 잘못 인식됐을 가능성이 있으면 움직이지 않고 의료진에게 다시 확인한다.
기술 개발과 함께 법과 제도도 풀어야 한다. 로봇이 오작동해 환자나 의료진에게 피해가 발생했을 때 책임을 어떻게 나눌지에 대한 기준은 아직 명확하지 않다. 연구진은 기술이 실제 의료 현장에 가까워지는 2단계부터 관계 기관과 관련 제도를 함께 검토할 예정이다.
임상 적용 역시 한 번에 모든 수술 업무를 맡기는 방식은 아니다. 프로젝트는 2029년 첫 임상시험을 목표로 한다. 내시경 유지부터 복강경 시야 조정, 조직 견인 순으로 적용 범위를 넓히고 담낭절제술과 뇌하수체종양절제술 등에서 4개 병원 임상을 추진한다. 실제 환자에게 적용하기 전에는 대동물 전임상시험과 전기·전자파 안전성 시험, GMP 인증, 식품의약품안전처 임상시험 승인과 병원 IRB 심의 등을 거친다.
로봇 도입이 곧 환자의 수술비 증가를 뜻하는 것도 아니다. 연구진은 사람이 맡던 보조 업무에 로봇을 투입한다는 이유로 환자에게 별도 수술비를 추가하는 방식은 상정하지 않고 있다. 오히려 24시간 수술 인력을 유지하기 어려운 의료 현장에서 로봇이 어느 정도의 업무를 안정적으로 맡을 수 있느냐가 경제성을 가르는 기준이 된다.
아직 ORchestra의 움직임은 숙련된 간호사나 수술 보조 인력만큼 빠르거나 자연스럽지 않다. 조직의 긴장도를 느끼며 힘을 조절하는 정밀 작업과 출혈·연기 등 예측하기 어려운 실제 수술 환경에서의 AI 안정성, 절개와 봉합 같은 고난도 술기도 앞으로 풀어야 한다. 프로젝트가 5년에 걸쳐 진행되는 이유이기도 하다.
이번 라이브 시연에서 먼저 확인한 것은 휴머노이드가 의사를 대신해 수술하는 미래가 아니었다. 집도의가 판단하고 명령하면 로봇이 도구를 건네고, 내시경을 잡고, 필요한 조직을 당긴다. 여기에 수술 데이터가 쌓이면 다음에 필요한 도구와 행동을 미리 예측하는 단계까지 이어진다. 의료진을 대신하는 로봇보다 부족한 수술실의 ‘손’을 채우는 동료. ORchestra는 이를 실제 수술실에서 구현하기 위한 기술 개발을 이어간다.
The post 수술실 부족한 ‘손’, 휴머노이드가 채운다…의료진과 함께 움직인 피지컬 AI appeared first on 벤처스퀘어.