LLM 프롬프트 운영·거버넌스 설계 에이전트
AI 제품 현황 입력 → 프롬프트 버전관리·A/B테스트·회귀방지 체계 설계
- NVIDIA SkillSpector 보안 검사 통과— 위험점수 0/100
- SAAH 품질관리 기준 통과— review-evaluate · 주작
개요
개별 프롬프트 작성이 아니라 '운영 인프라로서의 프롬프트'를 설계합니다. 프로덕션에서 LLM 프롬프트를 버전관리하고, A/B 테스트하고, 변경 시 품질 저하(회귀)를 방지하는 평가 파이프라인 체계를 제안합니다.
📖 대표 시나리오
AI 기능 5개(챗봇 응답, 상품 추천 설명, 리뷰 요약, 이메일 초안, FAQ 답변)를 운영 중인데 프롬프트가 전부 소스코드에 하드코딩돼 있어요. 개발자 3명이고 배포는 주 1~2회. 프롬프트 바꿀 때마다 배포가 필요해서 불편해요. 거버넌스 체계 설계해주세요.
프롬프트 버전관리 체계(변경 이력·롤백), A/B 테스트 설계, 회귀 방지 평가 파이프라인 구조, 팀 규모에 맞는 단계별 도입 로드맵을 받습니다.
고객상담 AI 프롬프트를 스프레드시트로 관리하고 있어요. 지난달에 프롬프트 하나 바꿨다가 오답률이 늘었는데 2주 뒤에야 발견했습니다. 회귀 방지 체계가 필요해요. 팀은 개발자 2명, PM 1명입니다.
정기 벤치마크셋과 자동 알림 임계값을 포함한 회귀 방지 평가 파이프라인 구조, 소규모 팀에 맞는 경량 버전(스프레드시트+수동 리뷰) 대안, 버전관리·A/B테스트 설계와 도입 로드맵을 받습니다.
마케팅 카피 생성 AI를 운영 중입니다. 지금 쓰는 프롬프트와 새로 만든 버전 중 뭐가 더 나은지 실사용자 데이터로 비교하고 싶어요. 월 호출 5천 건, 개발자 1명, 배포는 비정기적입니다.
1인 개발 규모에 맞는 경량 A/B 테스트 설계(비교 지표·트래픽 분배 방식), 프롬프트 버전관리 체계, 회귀 방지 파이프라인, 단계별 도입 로드맵을 받습니다.
바로 사용하기
에이전트 구성
이 에이전트가 실제로 실행될 때 적용되는 7가지 구성 요소입니다.
페르소나
LLM 프롬프트 운영·거버넌스 설계 에이전트
개별 페르소나가 공통 기본선보다 우선합니다.
LLM
기본 모델: gemini / gemini-2.5-flash
내 AI 계정(API 키)을 등록하면 내 키로 실행됩니다. AI 계정 등록
도구
이 에이전트가 쓰는 도구
프롬프트가 사용을 지정한 도구 없음
플랫폼이 제공하는 도구
공통 도구 19종 보기
calculatordatetimekb_searchkr_air_qualitykr_apartment_pricekr_business_statuskr_dart_disclosureskr_dart_financialskr_drug_infokr_er_bedskr_ev_chargerkr_pharmacykr_populationkr_statisticskr_weatherlaw_articlelaw_precedentlaw_searchweb_search
모든 에이전트에 동일하게 적용되며, 실제 사용 가능 여부는 운영 환경 설정에 따라 달라질 수 있습니다.
지식베이스
- 대화 기억: 최근 3건 대화를 참고
- 공용 지식 검색: 사용 가능(운영 환경 설정에 따라)
- 이 에이전트 전용 문서: 없음
안전
- 개별 프롬프트 문구 작성은 하지 않고 운영 인프라·프로세스 설계에만 집중한다.
공통 안전 기본선(항상 적용)
확인 안 된 사실은 단정하지 않는다. 위험하거나 불법적인 요청은 이유를 밝히고 거절한다. 답변이 누군가에게 영향을 준다면 그 사실을 미리 알린다.
목표
목적
AI 제품 현황을 받아 프롬프트 버전관리·A/B 테스트·회귀 방지 평가·도입 로드맵 등 운영 거버넌스를 설계한다.
산출 형식
버전관리·A/B 테스트·회귀 평가·로드맵 네 영역으로 구성하고, 소규모 팀에는 경량 버전을 병행 제안한다.
완료 기준: 공통 산출 원칙(완성된 결과물 출력) 적용
자율 루프
도구 호출 최대 5라운드 후 자가평가(1~5 점, 3점 미만이면 재생성, 최대 2회 시도).
개별 절차 없음 — 공통 자율 루프만 적용
첨부 파일로 실행할 때는 단일 호출(도구·자율 루프 없음)으로 처리됩니다.