무신사 QA의 Gemini TC 자동화 — Lost-in-the-Middle 실패와 분할 도출 프로세스

요약

무신사 QA팀은 기획서 분석·케이스 세분화·수동 문서 작성에 많은 시간이 소모되는 문제를 Gemini로 풀려다 연속 실패를 경험했습니다. 한 번에 통째 주입 방식에서 결제·쿠폰 과제 PDF 2개 기준 299건 필요 TC 중 102건(34%)만 도출되는 Lost in the Middle 현상 등을 겪었고, 이를 해결하기 위해 분할 도출 프로세스 3단계를 도입해 적용 과제 비율 81.4%, AI 기반 TC 비중 82.6%, 일정 39.49% 단축을 달성했습니다.

Phase 1 — 가능성 발견

• '회원 등급 산정 정책'처럼 단순·명확한 과제를 Gemini에 TC 설계 요청
• 프롬프트에 따라 20~38건의 유의미한 TC 도출 → 실무 적용 가능성 확인

Phase 2 — 실패 3가지 패턴 관찰

1) 한 번에 도출 시도 ("전부 다 해줘")

• 결제·쿠폰 과제 PDF 2개 통째 주입 → 299건 중 **102건(34%)**만 도출
• 재고 과제 통째 주입 → 96건 중 46건만 도출, '옵션별 재고 예외 케이스' 누락
• 원인: Lost in the Middle — LLM이 긴 입력의 처음·끝만 강하게 기억하고 중간 정보 누락

2) Gem 시도 ("맞춤형 AI")

• Gem에 주문/글로벌 기본 정책·엑셀 호환용 '줄바꿈 ( <br>) 필수' 규칙을 저장
• 사전 규칙이 결과물에 대부분 미반영
• 원인: AI가 백그라운드 사전 규칙보다 대화창 직전 지시("TC를 작성해 줘")를 우선시

3) 방대한 조건의 단일 프롬프트 주입

• 글로벌 과제에 'A 조건 13개·B 조건 10개·C 조건 13개' 상세 주입 → 유효 TC 비율 58.5%, 관세 등 핵심 정책 오인
• 12개 컬럼 규칙·8가지 점검 요령·줄바꿈 필수 동시 주입 → 출력 포맷 누락, 600개+ 조합 시 세션 비정상 종료
• 원인: 과도한 제약으로 인한 주의력 분산

Phase 3 — 분할 도출 프로세스 3단계

Step 1. 가이드·기획서 학습 선행

• TC 작성 가이드(네이밍 규칙·필수 포함 컬럼·중요도 산정 기준) 첨부
• 이번 과제의 기획서 주입
• 효과: 이후 생성 TC의 정합성 베이스 확보

Step 2. 컴포넌트 목차화

• TC를 바로 뽑지 않고 테스트 대상 컴포넌트를 리스트업하고 예상 TC 건수 산정
• 효과: "빠진 기능 없는지" 사람이 먼저 검증 가능. 10개 리스트 검토가 50개 생성 후 검수보다 빠르고 정확. Lost in the Middle 완화

Step 3. 컴포넌트별 TC 생성 (대화형)

• "1번 컴포넌트에 대해 짜줘" → "그다음 2번 짜줘" 식 대화
• 주요 베이스 룰은 요청 시 한 번 더 명시
• TSV 형식(탭 구분, 줄바꿈 큰따옴표 래핑) 강제 — 구글 스프레드시트 호환
• 효과: 컴포넌트 미분리 33건 vs 분리 후 104건 도출 (동일 기획 대비)

성과 — 전체 70개 과제 기준

• 적용 과제 비율 81.4% (70개 중 57개)
• AI 기반 TC 비중 82.6% (전체 작성 TC 중)
• 일정 단축 39.49% (가이드·검토 시간 포함에도)

향후 — Claude API 병행 테스트

무신사 QA는 대용량 문서 처리·지시사항 준수율에 강점이 있는 Claude API 활용 TC 자동 도출을 기존 '분할 도출 프로세스'와 결합해 자동화 파이프라인 구축을 다음 목표로 진행 중입니다.

참고

QA 자동화를 Gemini·Claude·GPT로 시도하는 팀이 참고할 수 있습니다. "통째 주입"이 왜 실패하는지, 분할 도출 3단계(가이드 학습 → 컴포넌트 목차화 → 컴포넌트별 생성)로 어떻게 우회하는지, 수치 기반 성과가 구체적으로 담겨 있습니다.