온디바이스 AI는 데이터를 외부 서버로 보내지 않고 스마트폰과 차량, 산업용 단말 안에서 직접 연산한다. 응답 속도와 데이터 프라이버시를 높일 수 있지만 AI 모델과 실행 프로그램이 단말에 배포된다는 점은 새로운 보안 과제를 만든다. 공격자가 기기나 프로그램을 확보하면 모델의 구조와 파라미터, 데이터 처리 과정과 핵심 로직을 분석할 수 있기 때문이다. 쿤텍과 한국전자통신연구원(ETRI)이 모델 자체를 난독화하고 AI 추론과 관련된 코드만 찾아 보호하는 기술을 개발하고 있다.
IoT·임베디드 보안기업 쿤텍은 ‘On-Device AI 정보 유출 방지를 위한 AI 구현 정보 은닉 기술 개발’ 과제의 2차년도 연구를 통해 AI 모델 난독화와 오염 분석 기반 데이터 흐름 분석 기술을 개발 중이라고 밝혔다. 이번 과제는 ETRI가 주관하고 여러 연구기관이 공동으로 수행한다. 쿤텍은 온디바이스 환경에 배포된 AI 모델과 추론 프로그램의 핵심 구현 정보가 외부 분석을 통해 노출되는 것을 방지하는 기술을 담당하고 있다.
AI 모델 난독화 기술은 온디바이스 모델을 다중 수준 중간 표현인 MLIR(Multi-Level Intermediate Representation) 형태로 변환한 뒤 여러 난독화 기능을 Pass 단위로 적용하는 방식이다. 주요 기능에는 연산자의 식별 정보를 변경하는 비식별화, 가중치와 편향 등 파라미터를 분리해 숨기는 매개변수 캡슐화가 포함된다. 텐서 형상을 변형하는 신경 구조 난독화와 가짜 연결·노드를 삽입하는 그래프 구조 난독화도 적용한다.
모델 파일에 드러나는 연산자 종류와 파라미터, 텐서 형상, 그래프 연결 관계를 변형해 외부 분석자가 실제 구조를 파악하기 어렵게 만드는 원리다. 별도의 실행 정보를 활용해 난독화된 상태에서도 원래의 연산과 추론 기능을 수행하도록 설계하고 있다.
MLIR Pass 기반 AI 모델 난독화 적용 구조의 예시다. (자료 제공: 쿤텍)
MLIR Pass 기반 AI 모델 난독화 적용 구조의 예시다. (자료=쿤텍)
모델을 숨기고, 보호할 코드만 찾아낸다
쿤텍은 난독화 기능을 MLIR Pass 단위로 구성해 모델의 특성과 보안 요구에 따라 필요한 기술을 선택적으로 조합할 수 있도록 했다. 런타임 수정 범위를 최소화하면서 별도 실행 정보로 난독화 연산과 실제 연산을 연결해 호환성과 확장성을 확보한다는 계획이다.
두 번째 축은 오염 분석(Taint Analysis)을 활용한 AI 응용 프로그램 데이터 흐름 분석이다. AI 응용 프로그램에는 모델 호출 외에도 데이터 전처리와 후처리, 파일 처리 등 여러 코드가 함께 들어 있어 실제 추론에 관여하는 부분을 구분하는 과정이 필요하다.
쿤텍은 C·C++ 기반 AI 응용 프로그램을 LLVM IR로 변환하고 TFLite API를 기준점으로 삼아 데이터가 변수와 포인터, 함수 호출을 거쳐 전달되는 경로를 추적하고 있다. 함수 이름이나 문자열 같은 표면적 패턴 대신 실제 데이터 의존 관계를 분석해 AI 추론에 참여하는 코드를 자동으로 식별하는 방식이다.
오염 분석을 활용해 AI 추론과 관련된 보호 대상 코드를 식별하는 과정이다. (자료=쿤텍)
쿤텍은 오염 분석으로 확인한 보호 대상과 모델 난독화 기술을 연계할 예정이다. 리소스가 제한된 온디바이스 환경에서 프로그램 전체에 보안 기능을 적용하는 대신 AI 추론과 직접 관련된 핵심 코드와 정보만 선별해 보호하는 기술로 고도화한다.
연구 과정에서 확보한 기술과 관련한 특허 출원도 마쳤다. 출원 기술은 ‘인공지능 모델의 구현 정보를 은닉하는 방법 및 이를 수행하는 컴퓨팅 장치’와 ‘오염 분석 기반 인공지능 추론 코드의 보호 대상 자동 식별 방법 및 시스템’ 등 2건이다.
방혁준 쿤텍 대표는 “온디바이스 AI가 다양한 산업과 제품으로 확산되면서 AI 모델뿐 아니라 이를 구동하는 응용 프로그램의 핵심 로직까지 보호해야 할 필요성이 높아지고 있다”며 “모델 난독화와 데이터 흐름 기반 보호 대상 식별 기술을 함께 고도화해 실제 제품 환경에서 활용할 수 있는 온디바이스 AI 정보 보호 기술을 확보하겠다”고 말했다.
The post 기기 안에 들어간 AI, 모델 구조도 함께 노출된다…쿤텍·ETRI ‘선택적 보호’ 기술 개발 appeared first on 벤처스퀘어.