기업의 생성형 AI 활용이 개인 단위의 업무 도구에서 조직 차원의 개발·운영 환경으로 빠르게 확산하고 있다. 여러 대규모언어모델(LLM)을 동시에 사용하면서 어떤 모델에 누가 접근할 수 있는지, 비용은 얼마나 발생하는지, 입력 데이터에 민감한 정보가 포함되는지를 관리하는 문제도 함께 커지고 있다. 생성형 AI를 도입하는 것만큼 기업 내부에서 이를 통제 가능한 형태로 운영하는 기술 체계가 중요해지는 배경이다. AI·데이터 플랫폼·클라우드 전문기업 솔트웨어(대표 이정근)가 기업의 생성형 AI 운영 환경을 직접 구축해보는 실습형 프로그램을 마련했다.
솔트웨어는 LiteLLM과 아마존 베드락(Amazon Bedrock)을 활용한 ‘AI Gateway & Claude Code’ 핸즈온 세미나를 개최했다. 참가자가 기업형 AI Gateway를 직접 구성하고 Claude Code를 사내 통제 환경에서 운영하는 과정을 실습하는 방식으로 진행했다.
솔트웨어가 LiteLLM과 아마존 베드락을 활용해 기업형 AI Gateway 구축과 Claude Code의 사내 통제 환경 운영을 다루는 핸즈온 세미나를 진행했다. (사진 제공: 솔트웨어)
핵심은 여러 LLM을 하나의 관리 체계 안으로 묶는 AI Gateway 구축이다. 기업에서 생성형 AI 활용 범위가 넓어질수록 모델마다 별도의 접근 방식과 비용 구조를 관리해야 하는 부담도 커진다. AI Gateway는 다양한 모델과 기업 내부 사용자 사이에서 단일 접점을 제공하면서 접근 권한과 비용, 데이터 사용 정책 등을 일관된 기준으로 관리하는 역할을 한다.
참가자들은 LiteLLM을 이용해 여러 LLM을 하나의 엔드포인트로 연결하는 LLM Proxy를 구축했다. 이후 사용자별 접근 권한과 예산 설정, 사용자·일자별 비용 추적, 반복 호출에 따른 비용과 응답 지연을 줄이기 위한 캐싱 등을 직접 다뤘다. 민감정보 유출을 막기 위한 가드레일과 LLM 사용 데이터를 축적하는 로깅 기능도 실습 과정에 포함됐다.
AI Gateway에서 Claude Code까지…기업 내부 통제 환경에 초점
세미나는 AI Gateway 구축에 이어 Claude Code를 기업 내부에서 활용하는 운영 방식으로 범위를 넓혔다. 솔트웨어는 아마존 베드락 기반 Claude Code 환경에 LiteLLM을 적용해 개발자가 AI 코딩 도구를 이용하면서도 기업이 사용 범위와 운영 환경을 관리할 수 있는 구조를 소개했다.
생성형 AI 기반 코딩 도구가 개발 현장으로 확산하면서 기업 입장에서는 생산성뿐 아니라 데이터 보안과 비용, 사용자별 권한 관리까지 함께 고려해야 한다. 이번 실습은 개별 개발자의 AI 사용을 단순히 허용하거나 제한하는 방식보다 조직 차원의 공통 운영 체계를 구축하는 방법에 초점을 맞췄다.
참가 대상도 실제 기업의 AI 운영 과정에 관여하는 실무자를 중심으로 구성했다. 조직 내 LLM 도입을 검토하거나 운영 중인 기술 리더를 비롯해 AI Gateway와 LiteLLM을 다루는 개발자·엔지니어, 사내 LLM 환경을 표준화하는 플랫폼 엔지니어, 사용 비용을 관리하는 인프라 운영자, 민감정보 유출 등 AI 관련 위험을 담당하는 보안 실무자 등이 참여했다.
이정근 솔트웨어 대표는 “기업의 LLM 활용이 확대되면서 다양한 AI 모델을 연결하는 것뿐 아니라 접근 권한과 비용, 민감정보 등 AI 사용 전반을 체계적으로 관리할 수 있는 환경이 중요해지고 있다”며 “LiteLLM 기반 AI Gateway 구축부터 Claude Code 활용까지 실제 기업의 AI 운영 환경에 적용할 수 있는 방법을 직접 경험할 수 있도록 프로그램을 구성했다”고 말했다.
솔트웨어는 AWS 클라우드와 생성형 AI 기술을 기반으로 기업의 디지털 전환과 운영을 지원하고 있다. 하드웨어와 시스템통합, 플랫폼 구축에서 축적한 기술 경험을 바탕으로 클라우드와 데이터 플랫폼, AI 플랫폼을 연결하는 사업을 전개하고 있다.
The post 솔트웨어, 기업 AI 통제 해법 실습으로 풀었다…AI Gateway·Claude Code 핸즈온 appeared first on 벤처스퀘어.