먼저 알아둘 핵심
- 네 지표 — 완료율, 소요 시간, 오류율, 문의 건수. 모두 숫자로 나와야 후보 간 비교가 됩니다.
- 시나리오 5개 × 5명 × 2회 = 50건. 1건 15분이면 전체 12.5시간 129,000원이 파일럿 비용입니다.
- 합격 기준은 현재 방식 측정에서 나옵니다. 5건 측정에 1.67시간 17,200원이 듭니다.
지표가 없으면 파일럿이 끝나지 않습니다
무료 체험을 2주 돌리고 "괜찮았다"는 결론이 나오면 결정에 쓸 수 없습니다. 괜찮다는 기준이 사람마다 다릅니다.
그러면 체험을 연장하게 됩니다. 2주가 4주가 되고, 그 사이 다른 후보는 검토되지 않습니다. 참여자 5명이 하루 1시간씩 2주를 더 쓰면 50시간, 2026년 최저임금 시간급 10,320원 기준 516,000원입니다.
지표를 먼저 정하면 2주 끝에 판단이 나옵니다. 숫자가 기준을 넘었는지 아닌지로 결론이 납니다.
네 지표로 충분합니다
파일럿에서 볼 지표는 네 개입니다. 완료율, 소요 시간, 오류율, 그리고 문의 건수입니다.
완료율은 정해진 시나리오를 끝까지 처리한 비율입니다. 소요 시간은 그 처리에 걸린 시간입니다. 오류율은 잘못 처리한 비율입니다. 문의 건수는 참여자가 막혀서 물어본 횟수입니다.
네 지표는 모두 숫자로 나옵니다. "시나리오 10건 중 9건 완료, 평균 12분, 오류 1건, 문의 4회"처럼 적히면 다른 후보와 비교됩니다. 느낌은 비교되지 않습니다.
- 완료율: 시나리오를 끝낸 비율.
- 소요 시간: 건당 평균.
- 오류율: 잘못 처리한 비율.
- 문의 건수: 막혀서 물어본 횟수.
| 지표 | 측정 방법 | 기준 예시 |
|---|---|---|
| 완료율 | 완료 건 ÷ 시도 건 | 95% 이상 |
| 소요 시간 | 건당 평균 분 | 15분 이하 |
| 오류율 | 오류 건 ÷ 완료 건 | 5% 이하 |
| 문의 건수 | 참여자당 횟수 | 1인 3회 이하 |
시나리오를 먼저 쓰고 지표를 붙입니다
지표를 측정하려면 같은 일을 해야 합니다. 참여자가 각자 다른 일을 하면 완료율이 비교되지 않습니다.
그래서 시나리오를 먼저 씁니다. 실제 업무에서 자주 하는 일 다섯 개를 골라 단계로 적습니다. 영업이라면 신규 문의 등록, 담당자 배정, 제안 작성, 일정 등록, 결과 기록입니다.
시나리오 5개를 참여자 5명이 각각 2회씩 수행하면 50건의 데이터가 나옵니다. 1건에 15분이면 참여자당 2.5시간, 전체 12.5시간, 129,000원입니다. 이것이 파일럿의 실제 비용입니다.
합격 기준을 미리 정합니다
지표가 숫자로 나와도 기준이 없으면 판단이 안 됩니다. 완료율 90%가 좋은지 나쁜지 알 수 없습니다.
기준은 현재 방식과 비교해 정합니다. 지금 엑셀로 하는 작업의 완료율이 100%이고 건당 20분이라면, 새 도구의 기준은 완료율 95% 이상과 건당 15분 이하가 됩니다. 현재보다 나빠지면 도입할 이유가 없습니다.
현재 방식을 측정하지 않았다면 파일럿 전에 측정합니다. 같은 시나리오를 현재 방식으로 5건 해 보면 기준선이 나옵니다. 5건에 100분, 1.67시간, 17,200원이 들고, 이 비용 없이는 합격 기준을 정할 수 없습니다.
2주로 충분한지
2주가 짧다고 느껴지는 경우가 있습니다. 그런데 2주에 판단이 안 되는 이유는 기간이 아니라 설계입니다.
시나리오와 지표와 기준이 있으면 2주는 충분합니다. 50건의 데이터가 나오고 네 지표가 측정됩니다. 설계가 없으면 2달을 해도 "괜찮았다"가 나옵니다.
결론을 바꾸는 예외는 월 단위 업무를 검증해야 하는 경우입니다. 월 마감이나 정기 보고가 핵심 업무라면 2주 안에 한 번도 겪지 않습니다. 이 경우 기간을 늘리는 대신 그 업무를 시나리오로 재현하는 편이 빠릅니다. 지난달 마감 데이터를 새 도구에 넣어 같은 결과가 나오는지 확인하면, 실제 마감을 기다리지 않고 검증됩니다.
출처와 검토 범위
공식 공개 자료와 일반적인 업무 설계 원칙을 바탕으로 AI의 도움을 받아 작성했습니다. 직접 사용한 후기나 제품 성능 테스트가 아닙니다. 제품 기능과 계약 조건은 구매 전 공급사의 최신 문서를 확인하세요.