서비스 장애는 원인을 찾는 동안에도 계속 커진다. 결제가 느려지고 오류가 급증하는 상황에서 인프라와 애플리케이션, 로그, 보안 데이터를 따로 살펴본다면 대응 시간은 길어질 수밖에 없다. 클라우드와 마이크로서비스 환경이 복잡해질수록 시스템 내부 상태를 데이터로 파악해 장애 원인을 추적하는 ‘옵저버빌리티(Observability)’가 IT 운영의 핵심 역량으로 떠오르는 이유다. 메가존클라우드와 데이터독이 실제 은행 서비스를 본뜬 가상환경에서 IT 엔지니어들이 90분 동안 연속적인 장애를 찾아 해결하는 실전형 챌린지를 열었다.
AI·클라우드 기업 메가존클라우드(대표 염동훈)는 글로벌 클라우드 모니터링 플랫폼 기업 데이터독(Datadog)과 함께 실전형 장애 대응 행사 ‘Datadog Game Day’를 개최했다. 지난 15일 서울 강남 레드버튼 컬쳐스테이지에서 열린 행사에는 금융·통신·게임·커머스 분야 IT 엔지니어 56명이 참가했다. 개발과 플랫폼, 인프라, 보안, DevOps, SRE(Site Reliability Engineering·사이트 신뢰성 엔지니어링) 등 서로 다른 직군의 참가자들이 17개 팀을 구성했다.
경기는 3~4명이 한 팀을 이뤄 장애를 해결하고 점수를 획득하는 방식으로 진행됐다. 기존 팀 단위 참가자뿐 아니라 개인 신청자도 현장에서 팀을 구성했으며 데이터독을 처음 사용하는 참가자도 참여했다. 주최 측은 실습 환경과 장애 시나리오를 제공하고 참가자들이 팀 단위로 문제를 해결하도록 구성했다.
메가존클라우드와 데이터독이 지난 15일 서울 강남에서 개최한 ‘Datadog Game Day’에서 금융·통신·게임·커머스 분야 엔지니어 56명이 17개 팀으로 참여해 결제 지연과 에러 폭증, 외부 공격 등 복합 장애 대응 역량을 겨뤘다. (사진 제공: 메가존클라우드)
결제 지연부터 외부 공격까지…실제 은행처럼 장애가 연이어 터졌다
핵심 프로그램은 90분간 진행된 실전 챌린지였다. 참가자들에게는 실제 은행 서비스를 본뜬 가상 애플리케이션이 주어졌다. 수백만 건의 거래가 발생하는 환경에서 결제 지연과 에러 폭증, 외부 공격 등 여러 장애가 연속적으로 발생하도록 시나리오를 설계했다.
각 팀은 데이터독을 활용해 시스템 상태를 확인하고 장애 원인을 찾아 해결한 뒤 다음 문제로 넘어갔다. 단순히 모니터링 화면을 확인하는 데 그치지 않고 복합적인 장애 상황에서 원인을 얼마나 정확하고 빠르게 찾아내는지를 겨루는 방식이다.
우승은 가상자산 거래소 코인원 엔지니어들로 구성된 ‘라이츄’ 팀이 차지했다. 코인원 보안기술팀 김종근, 백엔드팀 송용호, 백엔드개발팀 이선우, 인프라팀 최하늘 매니저가 한 팀을 이뤄 가장 많은 장애를 빠르게 해결했다.
이선우 코인원 매니저는 데이터독의 AI 어시스턴트 ‘비츠 AI’를 장애 분석에 활용했다. 그는 “비츠 AI로 장애를 분석해 문제를 해결했는데 결과가 정확했던 데다 분석을 맡겨두고 다른 작업을 병행할 수 있었다”며 “현업에 도입하면 도움이 될 것 같다”고 말했다.
최하늘 매니저는 “모니터링 체계 고도화를 준비하고 있는데 이번 행사를 통해 대응 체계를 어떻게 만들지 그림을 그릴 수 있었다”고 말했다.
메가존클라우드와 데이터독은 현직 엔지니어들이 실제 운영환경과 유사한 조건에서 복합 장애에 대응하면서 옵저버빌리티 역량을 직접 점검할 수 있도록 이번 프로그램을 구성했다. 데이터독 플랫폼은 인프라와 애플리케이션, 로그, 보안 데이터를 하나의 환경에서 모니터링하고 연계 분석할 수 있도록 지원한다.
김영환 메가존클라우드 Key ISV 유닛장은 “장애는 예고 없이 찾아오지만 대응 역량은 미리 준비할 수 있다”며 “참가자들이 현장에서 쌓은 대응 경험을 자사 운영 환경에 실질적으로 적용할 수 있기를 기대한다”고 말했다.
메가존클라우드는 데이터독의 아시아태평양·일본(APJ) 지역 파트너 가운데 처음으로 전략적 협력 협약(SCA)을 체결했다. 데이터독 APJ 올해의 파트너를 4년 연속 수상했으며 국내 프리미어 파트너로 협력하고 있다.
The post 메가존클라우드·데이터독, 은행 장애 90분 안에 잡아라…IT 엔지니어 56명 실전 경쟁 appeared first on 벤처스퀘어.