기간	핵심 질문	해야 할 일	필수 산출물	통과 게이트
0~15일	무엇을 왜 바꾸는가	업무 기준선, 이해관계자, 데이터, 권한, 피해 가능성 파악	문제정의 1장, 기준선, RACI, 금지·허용 경계	업무 소유자와 성공 지표가 있는가
16~30일	어떤 사례부터 할 것인가	후보 채점, 사용자 흐름, 평가 과제, Build/Buy 초안	우선순위표, 평가 계획, 위험대장	가치·실현성·평가 가능성이 있는가
31~60일	통제된 조건에서 반복 성공하는가	여러 번 실행, 오류 분류, 권한·로그·비용 계측	결과표, trace, 단위원가, 보안 점검	일관성과 치명적 실패 기준을 통과했는가
61~75일	현업에서 안전하게 작동하는가	shadow/canary, 승인선, 교육, 롤백 훈련	파일럿 리포트, SOP, 예외·복구 기록	사람 부담과 실제 예외가 허용 범위인가
76~90일	누가 계속 책임질 것인가	SLO, 예산, 변경관리, 재평가 주기 확정	운영 대시보드, 런북, Go·Revise·Stop 결정	소유자·예산·모니터링·중단 장치가 있는가

0~15일: 모델보다 업무 기준선을 먼저 만든다

먼저 현재 업무 한 건을 처리하는 시간, 대기시간, 오류율, 재작업률, 월 처리량과 비용을 적습니다. 이 숫자가 없으면 AI 적용 뒤 좋아졌다는 주장도 증명할 수 없습니다.

동시에 다음 여덟 질문에 답해야 합니다.

이 업무의 실제 소유자는 누구인가?
사용자와 결과의 영향을 받는 사람은 누구인가?
현재 처리량·시간·비용·오류율은 얼마인가?
성공을 누가 어떤 증거로 판정하는가?
어떤 데이터와 시스템 권한이 필요한가?
잘못되면 되돌릴 수 있는가? 최대 피해는 얼마인가?
사람이 반드시 승인해야 하는 지점은 어디인가?
운영 중단 권한과 사고 연락망은 누구에게 있는가?

Accountable이 비어 있거나 성공 기준이 “좋아 보인다”라면 아직 PoC를 시작할 때가 아닙니다.

16~30일: 후보를 줄이고 평가부터 설계한다

“고객센터에 AI를 넣자”는 아이디어는 평가할 수 없습니다. “상담원이 주문 정책과 대화 이력을 받아 답변 초안을 만들고, 정책 위반과 정확성을 승인한다”처럼 사용자, 입력, 행동, 판정자를 한 문장에 넣어야 합니다.

후보 5~~10개를 동일 기준으로 비교하고 PoC는 1~~2개만 보냅니다. 실제 실패와 예외에서 출발한 평가 과제를 먼저 만들면, 결과를 본 뒤 목표를 낮추는 일을 막을 수 있습니다. Anthropic의 에이전트 평가 가이드는 task, trial, grader, trace를 구분하고 확률적 시스템을 여러 번 시험할 것을 권합니다.

31~60일: 평균 정확도보다 분포와 실패를 본다

한 번의 성공은 반복 가능성을 말해주지 않습니다.

같은 과제를 여러 번 실행해 성공률과 변동성을 봅니다.
최종 답뿐 아니라 도구 호출, 권한 요청, 재시도와 중간 상태를 기록합니다.
품질과 함께 p50/p95 지연, 모델·도구 비용, 사람 개입률과 복구 시간을 측정합니다.
실데이터를 쓰기 전에 비식별 데이터와 샌드박스에서 시작합니다.
승인 없는 전송, 개인정보 노출, 복구 불가능한 변경은 총점과 무관한 자동 탈락으로 둡니다.

PoC의 핵심 지표는 토큰당 비용이 아니라 검증된 성공 한 건의 완전 원가입니다.

검증 성공당 원가 = 모델 + 도구 + 인프라 + 재시도 + 모니터링 + 사람 검토 + 실패 복구 비용 ÷ 검증된 성공 건수

61~75일: 조용한 병행 운영으로 사람의 부담을 잰다

처음부터 자동 실행하지 않습니다. 기존 프로세스 옆에서 결과만 비교하는 shadow mode로 시작하고, 다음에는 일부 사용자와 저위험 업무만 대상으로 canary를 운영합니다.

이 단계에서 놓치기 쉬운 것은 새로운 노동입니다. AI가 줄인 처리시간뿐 아니라 관리자의 승인, 예외 처리, 교육, 문의 대응과 재작업에 든 시간을 함께 재야 합니다. 모델은 빨라졌는데 결재 대기열이 길어졌다면 운영 개선이 아닙니다.

76~90일: 출시가 아니라 운영 계약을 만든다

마지막 15일에는 다음 항목을 문서로 확정합니다.

비즈니스 결과와 서비스 운영의 최종 책임자
모델·프롬프트·도구·권한 변경 승인 절차
월 예산 한도와 비정상 사용 알림
로그 보존, 사고 보고, 중단·복구 절차
품질·비용·위험 지표의 재평가 주기
공급자 변경과 데이터 반출 계획

한 사람이 여러 역할을 맡을 수는 있습니다. 다만 비즈니스 결과, 기술·데이터, 위험·규정, 운영·변경의 Accountable이 모두 비어 있지 않아야 합니다.

90일 종료 결정

결정	조건	다음 행동
Go	목표 기준을 통과했고 치명적 실패가 없으며 운영 소유자·예산·런북이 있다	제한 범위를 유지하며 운영 전환
Revise	가치 신호는 있으나 품질 분산, 사람 부담, 통합·권한 문제가 남았다	다음 실험, 책임자와 종료일을 명시
Stop	기준선 대비 가치가 없거나 평가가 불가능하거나 비가역 위험이 크다	중단 이유와 재검토 조건을 기록

Stop은 실패가 아니라 90일 안에 큰 비용을 막은 결정입니다. 반대로 좋은 데모를 운영 가능성으로 착각하면 작은 실험이 장기 책임으로 바뀝니다.

90일이 끝났을 때 필요한 것은 “AI를 도입했다”는 발표가 아닙니다. 운영할 수 있다는 증거가 없다면 PoC의 성공도 출시 근거가 아닙니다.