AI 모델 여러 개 쓸수록 커지는 관리 부담… 래블업, 신한DS에 ‘컨티넘 엔터프라이즈’ 첫 공급

    서버 랙 사이로 여러 갈래의 광케이블이 뻗어 있는 데이터센터 통로

    금융권에서 거대언어모델(LLM)을 하나만 쓰는 곳은 점점 줄고 있다. 여러 모델을 함께 돌리는 사례가 늘면서, 모델마다 키를 발급하고 장애를 추적하고 사용량을 정산하는 일이 고스란히 운영 부담으로 쌓인다. 래블업이 신한DS와 맺은 이번 공급 계약은 바로 이 지점을 겨냥했다.

    래블업은 신한DS의 ‘GPU 관리 및 API SW 도입 사업’에서 API 소프트웨어 부문을 맡아 ‘Continuum Suite(컨티넘 엔터프라이즈)’를 공급한다. 래블업이 이 제품을 상용 출시한 뒤 따낸 첫 공급 계약이다.

    제품은 크게 두 축으로 움직인다. 컨티넘 라우터는 여러 AI 모델 사이로 요청을 나눠 보내고, 한 경로에 장애가 생기면 다른 경로로 바꿔 준다. 컨티넘 허브는 여러 라우터의 사용량과 정책, 과금을 한곳에서 관리하는 역할을 한다.

    설계에서 눈에 띄는 부분은 실제 요청이 허브를 거치지 않는다는 점이다. 요청은 라우터에서 바로 처리되기 때문에, 허브에 장애가 나더라도 AI 서비스가 멈추지 않는다. 금융권 특유의 망분리 환경도 고려했다. 허브가 라우터를 찾아가는 대신 라우터가 먼저 허브에 연결하는 방식을 택했다.

    신정규 래블업 대표는 “모델이 늘수록 관리 지점도 함께 늘어난다”고 말했다. 여러 모델을 쓰는 환경일수록 이를 묶어서 다룰 관리 계층이 필요하다는 설명이다.

    이번 계약은 래블업이 코스닥 입성을 앞둔 시점에 나왔다. 래블업은 22~23일 일반 공모주 청약을 진행했으며, 코스닥 상장 예정일은 11월 3일이다. 대표 주관사는 NH투자증권이 맡았다.

    답글 남기기

    이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다

    광고 차단 알림

    광고 클릭 제한을 초과하여 광고가 차단되었습니다.

    단시간에 반복적인 광고 클릭은 시스템에 의해 감지되며, IP가 수집되어 사이트 관리자가 확인 가능합니다.