← 인사이트

Field Note for Institutions · No.20

성과지표 설계법, 결과보고서를 변화로 채우기

창업 프로그램 결과보고서의 성과지표를 만족, 학습, 행동, 사업 성과 네 단계로 나누고 측정 시점을 정하는 법입니다.

기관 담당자 노트기관 담당자

창업 프로그램 성과지표는 운영자가 한 일이 아니라 참여자에게 나타난 변화를 보여 주는 수치입니다. 만족, 학습, 행동, 사업 성과의 네 단계로 나누고, 사업을 시작하기 전에 측정 시점과 비교 대상을 정해 두면 결과보고서의 수치가 설득력을 갖습니다.

Key Points · 핵심 요약
  1. 참여 인원과 교육 시간은 활동량에 불과하므로, 참여 팀의 변화 정도를 별도로 측정해야 합니다
  2. 해외 기준은 성과를 단계별로 구분하고, 근거의 강도를 밝히고, 선발되지 않은 팀과 비교합니다
  3. 기관이 원하는 최종 결과에서 출발해 역순으로 지표를 선정하고, 측정 동의는 모집 단계에서 받습니다

결과보고서의 수치는 왜 설득력이 약할까요?

대부분 활동 지표에 머물기 때문입니다. 멘토링 횟수가 많아도 이후 창업자의 사업이 어떻게 변화했는지는 드러나지 않습니다.

원인은 측정 시점에 있는 경우가 많습니다. 종료 무렵 설문 한 번으로는 출발점이 없고, 반년 뒤 매출을 확인할 연락 동의도 확보되지 않습니다.

문제는 기관 내부 보고에서 "그래서 성과가 무엇인가"라는 질문이 나올 때 드러납니다. 그제야 추적 조사를 시도해도 동의와 연락처가 없어 응답이 모이지 않고, 결국 잘된 한두 팀만 사례로 싣게 됩니다.

생성형 AI 덕분에 시제품과 랜딩페이지를 며칠 만에 공개할 수 있게 되면서, 행동 변화를 기록할 자료는 오히려 늘었습니다. 무엇을 기록할지 사전에 정해 두는 것이 관건입니다.

활동 지표와 변화 지표의 차이
구분보여 주는 것예시
활동 지표운영 측이 투입한 노력참여 인원, 교육 시간, 멘토링 횟수
변화 지표참여 팀에 실제로 나타난 변화진단 점수 변화, 고객 인터뷰 수, 매출

해외에서는 프로그램 성과를 어떻게 평가하나요?

Kirkpatrick 모델은 반응, 학습, 행동, 결과의 네 단계로 교육을 평가하고 설계는 결과 단계부터 하라고 권합니다. 호감이나 몰입보다 관련성이 실제 행동과 더 밀접하게 연결된다고 봅니다. 만족도 설문에 "내 사업에 바로 쓸 수 있었다" 같은 관련성 문항을 넣는 것이 가장 간단한 적용 방법입니다.

Puttick과 Ludlow가 2013년에 정리한 Nesta 기준은 근거의 강도를 다섯 수준으로 구분합니다. 1수준은 효과가 날 논리를 설명하는 단계이고, 사전·사후 변화는 2수준, 비교 집단으로 인과를 입증하면 3수준입니다. 4~5수준은 독립 평가와 다른 장소에서의 재현을 요구하므로, 대부분의 창업 프로그램은 2수준을 현실적인 목표로 잡을 수 있습니다.

GALI의 2017년 보고서는 2013~2015년 43개 프로그램에 지원한 기업 2,455곳을 추적했습니다. 1년 뒤 매출 증가는 고소득국에서 참여 기업 35,062달러, 탈락 기업 10,530달러였고, 신흥시장에서는 26,134달러와 11,043달러였습니다. 무작위 실험이 아니더라도, 지원했으나 선발되지 않은 팀은 유효한 비교 기준이 됩니다.

지표는 어떤 순서로 설계하나요?

먼저 1년 뒤 보고할 수치를 문장으로 정리하고, 단계마다 지표와 측정 시점을 하나씩 정합니다. 신청서에 사전 진단 문항과 추적조사 동의를 함께 넣어 기준점을 확보합니다. 사업 시작 후에 받으면 기준점이 불분명해집니다.

비교 대상은 이전 기수 기록이나 미선발 지원팀의 동의 응답으로 만듭니다. 종료 시, 3개월, 6개월, 12개월 측정 일정은 과업 초기에 확정하고, 서술형 응답을 AI로 분류하더라도 원문은 따로 보관합니다.

지표 4단계와 측정 시점
단계확인할 변화지표 예시측정 시점
1단계 만족회차에 대한 반응유용성 점수, 추천 의향각 회차 직후
2단계 학습지식과 자신감사전 대비 사후 진단 점수시작 전과 종료 시
3단계 행동현장에서 실행한 일인터뷰 수, 시제품 공개, 첫 유료 고객종료 시와 3개월 뒤
4단계 성과사업 지표매출, 고용, 투자, 후속 사업 선정6개월과 12개월 뒤

성과지표에서 흔히 하는 실수는 무엇인가요?

가장 잦은 실수는 활동량을 성과처럼 적는 것입니다. 3단계 행동 지표는 만족과 매출 사이를 잇는 근거이므로 빠뜨리지 않아야 합니다. 단계마다 아래처럼 보고 방식을 바꾸면 같은 사업이라도 결과보고서가 다르게 평가됩니다.

단계별로 바꿔 작성하는 보고 방식
단계흔한 보고바꾼 보고
1단계 만족만족도 평균 점수관련성 문항 점수와 점수가 낮은 회차의 개선 내용
2단계 학습교육 이수 인원사전·사후 진단 점수 차이
3단계 행동멘토링 횟수종료 3개월 뒤 인터뷰 수와 시제품을 공개한 팀 수
4단계 성과우수 사례 한 팀 소개전체 팀 분포와 비교 기준, 그 위에 대표 사례

설계를 마친 뒤에는 무엇을 점검하나요?

다섯 가지 질문에 모두 문서로 답할 수 있으면 설계가 완료된 것입니다. 하나라도 비어 있다면 모집 공고가 나가기 전에 채워 두어야 합니다.

성과지표 설계 점검 질문
점검 질문통과 기준흔한 오답
최종 결과를 먼저 정했는가1년 뒤 변화할 수치가 문장으로 명시됨만족도 목표치만 있음
단계마다 측정 시점이 있는가회차 직후부터 12개월까지 일정표종료 직전 설문 한 번
사전 기준점이 있는가모집 단계 사전 진단종료 때만 진단
비교 기준이 있는가이전 기수나 미선발 팀 동의 응답참여 팀 수치만 제시
근거 수준을 밝혔는가사전·사후인지 비교 집단인지 표기모든 변화를 프로그램 효과로 서술
성과지표 4단계 설계 원칙

성과는 사업이 끝난 뒤 모으는 것이 아니라 시작 전에 무엇을 언제 측정할지 미리 정해 두는 것입니다.

자주 묻는 질문

Q.창업 프로그램 성과지표는 몇 개가 적당한가요?

네 단계마다 하나씩, 모두 네 개면 충분합니다. 지표마다 측정 시점을 함께 적어 두어야 종료 뒤에도 일정대로 수집할 수 있습니다.

Q.만족도 조사만으로 결과보고서를 작성해도 되나요?

필요하지만 그것만으로는 부족합니다. Kirkpatrick 모델 해설에서도 1단계 반응 측정은 현장 적용을 보여 주기에 부족하다고 하므로, 행동 지표를 최소 하나 더합니다.

Q.종료 후 추적조사 응답률을 높이려면 어떻게 하나요?

모집 단계에서 추적 동의와 측정 일정을 받아 두는 것이 핵심입니다. 사업이 끝난 뒤 동의를 구하면 응답이 잘 모이지 않습니다.

Q.비교 집단 없이도 성과를 말할 수 있나요?

말할 수 있습니다. 사전·사후 비교는 Nesta 기준으로 2수준 근거에 해당합니다. 다만 인과로 단정하지 말고 근거 수준을 함께 표기합니다.

Q.결과보고서에 근거 수준은 어떻게 표기하나요?

수치 옆에 비교 방식을 함께 적으면 됩니다. 사전·사후 비교인지, 이전 기수나 미선발 팀과 비교한 것인지를 밝혀 두면 수치를 과장하지 않고도 검토자가 그 의미를 판단할 수 있습니다.

참고 자료

큐케이파트너스창업교육, AI 교육, BM 고도화, IR 덱 제작, 데모데이 운영을 하는 스타트업 그로스 파트너입니다. 창업 현장에서 반복되는 질문을 연구와 심사·교육 경험으로 정리합니다.

프로그램 설계가 필요하신가요?

참여기업별 전담 멘토링과 재도전 멘토링, 결과보고 업무까지 함께 맡습니다.