당근의 GenAI 플랫폼 — LLM Router, Prompt Studio, KarrotChat

요약

AI API를 쓰는 팀이 늘면서 계정·키가 난립하고 비용 추적이 어려워졌고, 프롬프트를 실험하려면 매번 엔지니어에게 코드를 요청해야 했습니다. 당근이 LLM Router, Prompt Studio, KarrotChat 세 가지 플랫폼으로 이 문제를 해결한 과정에 대한 글입니다.

인사이트

• 여러 팀이 각자 API 계정을 만들면 어떤 계정은 Rate Limit에 걸리고 다른 계정은 여유가 남는 비효율 발생 — 하나의 게이트웨이로 통합하면 계정 관리·비용 추적·Rate Limit
  모니터링이 한 곳에서 가능
• 프롬프트 실험을 코드 없이 할 수 있게 만들면 PM 등 비개발자도 직접 AI 기능을 개발하고 이터레이션 가능
• AI API는 생각보다 불안정 — Retry → Region Fallback → Model Fallback → Circuit Breaker 4단계 안전장치가 필요

해결

1. LLM Router — AI API 게이트웨이

• 모든 AI API 호출을 하나의 관문으로 통합, 서비스ID만으로 호출
• OpenAI 인터페이스를 표준으로 정하여 모델 변경 시 코드 수정 불필요
• 비용·사용량을 서비스별로 자동 추적, 인프라 비용 관리 플랫폼과 연동

2. Prompt Studio — 코드 없는 AI 기능 개발

• 웹 UI에서 프롬프트 작성·모델 선택·실행·비교, 수천 건 테스트셋 Evaluation 지원
• API 연동 후 코드 변경 없이 프롬프트만 수정·배포 가능
• 이미지/비디오 생성 모델도 지원, MCP 허브에서 사내 MCP 등록·탐색, Agent 구성까지

3. KarrotChat — 사내 Agent 채팅 플랫폼

• Prompt Studio에서 만든 Agent를 사내 누구나 채팅으로 사용
• 당근알바팀 '데이터캣' 사례: 빅쿼리 MCP + 도메인 가이드로 SQL 없이 데이터 분석