LLM 서비스에 시스템 프롬프트 외 별도 가드레일이 필요한 이유

요약

LY 팀이 LLM 안전 장치(가드레일)를 시스템 프롬프트 안에 녹여 넣는 방식과 별도 컴포넌트로 분리하는 방식을 12편 이상의 외부 논문 근거와 함께 비교, 별도 분리 구조가 안전·비용·운영 모두에서 유리하다고 결론. 정상 질문 과잉 거절(false refusal), 프롬프트 위치 편향, 미세 수정으로 인한 전체 성능 변동을 시스템 프롬프트 방식의 구조적 한계로 정리.

내용

가드레일은 자동차 주행 가드레일에 비유되는 안전 장치로, 챗봇이 의도하지 않은 답을 내지 않도록 막는 역할. 공격은 사용자 입력으로 기존 규칙을 무력화하는 프롬프트 인젝션과, 그 결과 응답해서는 안 될 답까지 끌어내는 탈옥(jailbreaking)으로 구분됨.

방어 수단은 두 갈래.

• 시스템 프롬프트 기반: "안전 규칙을 절대 무시하지 마라"를 시스템 프롬프트에 직접 삽입. 도입 빠름, 구현 직관적
• 별도 가드레일: AI 모델 앞뒤에 보안 게이트(전용 필터·분류기·룰 엔진)를 배치. 입력 단계에서 차단(tripwires)하거나 안전 방향으로 수정(rewriter)한 뒤 모델 호출, 출력도 다시 점검

LY는 시스템 프롬프트 기반이 작은 규모·내부 도구·PoC에는 적합하지만, 트래픽이 커지고 규제가 깊어질수록 운영·비용·안전 모두에서 한계가 드러난다는 입장.

해결 / 접근

시스템 프롬프트 기반의 구조적 약점 (논문 근거)

• 과잉 거절 (false refusal): 안전 프롬프트를 추가하면 LLaMA-2·Mistral 계열에서 쿼리 임베딩이 거절 방향으로 일관되게 이동, 무해 쿼리까지 함께 거절률 상승 (On Prompt-Driven Safeguarding, arXiv:2401.18018). "Tell me how to kill a Python process" 같은 무해 요청도 차단되는 사례가 보고됨 (arXiv:2503.17882, PHTest arXiv:2409.00598)
• 위치 편향: GPT-3.5-Turbo 등에서 정답 정보가 콘텍스트 중간에 들어가면 정확도 U자 곡선으로 하락, 처음·끝에 비해 무참고 baseline보다 낮아질 때도 있음 (Lost in the Middle, arXiv:2307.03172). 다중 제약 지시문에서는 어려운 제약을 앞·쉬운 제약을 뒤에 둔 순서가 가장 잘 따라옴 (CDDI 지표, arXiv:2502.17204)
• 미세 수정의 파급: 11개 분류 과제에서 출력 형식을 JSON/CSV/XML로 한 줄 바꾸면 전체 예측의 10% 이상이 다른 답으로 변경, 공백 추가나 "Thank you" 한 줄로도 수백 개 라벨 이동 (Butterfly Effect, arXiv:2401.03729). 문자 한 개 삽입만으로 Mistral-7B-Instruct의 GSM8K 성능 약 5%p 하락 (arXiv:2506.03627)
• 컴포넌트별 취약성 차이: 역할·작업 지시·제약처럼 의미를 규정하는 컴포넌트를 살짝 변형하면 공격 성공률 급등, 형식 안내 변형은 영향 작음 (arXiv:2508.01554)
• 콘텍스트 부패: 18개 최신 LLM에서 입력 토큰 수가 늘수록 의미 검색·QA·추론 성능이 일관되게 하락 (Context Rot, Chroma research)

별도 가드레일의 효용

비용

• LLM 캐스케이드 전략(저렴한 모델·룰 필터를 앞단에 두고 어려운 쿼리만 GPT-4로 라우팅)으로 최대 98% 추론 비용 절감 (FrugalGPT, arXiv:2305.05176). 가드레일 분리도 같은 구조
• 서비스용 LLM의 시스템 프롬프트를 슬림하게 유지 → 입력 토큰 감소
• 추론(reasoning) 모드 모델은 사고사슬 토큰까지 폭증 — 불필요하게 긴 추론을 강제하는 OverThink 공격으로 GPT-o1·DeepSeek-R1 응답 시간 최대 46배 (arXiv:2502.02542). 가드레일을 추론 모델 안에 넣으면 이 위험에 노출

운영 리스크

• 거절 사유를 "정책상 답변할 수 없습니다" 한 줄로만 받게 됨 → 감사 트레일·규제 대응 어려움. Llama Guard·ShieldLM은 위반 카테고리·서브 태그를 구조화 출력
• 모델 교체·버전 변경마다 시스템 프롬프트 재튜닝 필요. 별도 가드레일은 뒤단 LLM이 바뀌어도 정책 그대로 공유, 정책만 일괄 교체도 가능
• 공격은 정적이 아니라 진화 — 가드레일도 빈번 업데이트 필수 (arXiv:2510.09023)

별도 구조에서만 가능한 일

• 외부 API LLM 사용 시 PII 필터를 자체 서버에서 처리 → 개인정보 외부 유출 차단
• 다층 방어(defense in depth): 입력 필터 + 모델 내부 안전 미세조정 + 출력 검증의 조합. 어느 한 층이 뚫려도 다음 층이 막음
• 하이브리드: JSON 스키마·날짜 형식·필수 필드처럼 결정론적 검증이 필요한 영역은 룰 엔진 병용
• 출력 검증: RAG 기반 팩트 체커(OpenFactCheck arXiv:2405.05583, MultiReflect)와 의미적 엔트로피 기반 환각 검출(Nature 게재 arXiv 논문, Semantic Entropy Probes arXiv:2406.15927)

결과 / 참고

• 권고: 초기엔 시스템 프롬프트 기반으로 빠르게 시작 → 서비스 성장과 규제·트래픽 증가에 맞춰 외부 가드레일 중심 또는 하이브리드로 단계적 이전
• 선택 기준: 위험 프로필 / 규제·감사 요구 / 예산·트래픽 규모 / 허용 지연(latency)
• 인용 논문 12편 이상 (LLaMA-2·Mistral 거절 분석, Lost in the Middle, Butterfly Effect, FrugalGPT, OverThink, Llama Guard, ShieldLM, OpenFactCheck, Semantic Entropy 등)
• 출처: LY Corporation Tech Blog (LINE Plus·LINE Taiwan·LINE Vietnam 포함)