Typed Message 기반 Event-driven MLOps와 Omni-Evaluator 구조

요약

네이버가 Kubeflow류 파이프라인 대신 Typed Message + Event Sensor 기반 Event-driven MLOps를 도입. 메시지 추가만으로 기능 확장, 사용자는 발행만 하고 내부 오케스트레이션은 자율 처리. 추론 엔진·벤치마크를 묶은 Omni-Evaluator로 평가도 단일 창구로.

내용

Kubeflow처럼 학습·평가·배포 단계를 그래프로 묶는 파이프라인 MLOps는 단계 하나가 바뀌면 전체 버전 관리가 따라와야 하고, 시스템 사이 결합도가 높아 클라우드 환경이 바뀌면 이식이 어려워짐. 평가·배포를 따로 운영하는 팀이 늘면서 단계마다 시스템이 분화됐는데, 이들을 다시 하나의 파이프라인 정의로 묶기가 부담이 되는 환경.

VLOps는 단계를 그래프로 묶는 대신 메시지 단위로 쪼개는 방향을 택함. 각 작업은 Typed Message로 정의되고 Event Sensor가 그 메시지를 감지해 적절한 처리기를 호출. 호출자는 내부에서 어떤 컴포넌트가 도는지 몰라도 됨.

해결 / 접근

• Typed Message 단위 정의: 학습·평가·배포 작업을 메시지 타입으로 표현. 새 기능은 메시지 타입 추가로 확장, 파이프라인 전체 버전 갱신 X
• Event Sensor 자율 실행: 메시지를 감지해 해당 작업을 실행. 사용자는 메시지 발행만 하면 되고 내부 오케스트레이션은 노출되지 않음
• 느슨한 결합 + 클라우드 호환: 시스템 간 직접 호출 대신 메시지 채널로 분리, 클라우드 환경 사이 이식성 확보
• Omni-Evaluator: 추론 엔진·벤치마크가 제각각 흩어져 있던 평가 환경을 단일 평가 시스템으로 통합. 사용자 주도 트리거와 실시간 모니터링 지원
• VLOps Dashboard: 사용자 경험의 허브 — 평가·모니터링·트리거를 한 화면에서 다룸

결과 / 참고

• 평가·배포 시스템 간 Loose Coupling 확보, 클라우드 간 호환 가능
• 추론 엔진·벤치마크 다종 통합, 실시간 모니터링 + 사용자 트리거 제공
• NAVER ENGINEERING DAY 2025 (10월) 발표 세션
• 발표 영상: https://d2.naver.com/helloworld/0931890
• 대상: MLOps 엔지니어, ML 리서처, 데이터 사이언티스트, 클라우드 인프라/DevOps 개발자, 모델 배포·평가 담당자