창업 심사 평가표의 공정성은 항목 수보다 점수마다 붙은 기준 문장에서 결정됩니다. 항목을 확인 가능한 근거로 정의하고 점수별 앵커 문장을 붙입니다. 여기에 독립 채점과 토론 순서를 더하면 심사위원 사이 편차와 발표자 인상에 따른 편향을 함께 줄일 수 있습니다.
- 초기 단계 심사는 직감에 크게 의존하고, 같은 내용도 발표자에 따라 다르게 평가됩니다.
- 평가 항목은 인상이 아니라 확인할 수 있는 근거로 정의하고 점수마다 앵커 문장을 붙입니다.
- 독립 채점, 편차 큰 항목 토론, 재채점 순서로 진행하면 특정 심사위원의 의견에 좌우되지 않습니다.
창업 심사 평가표에서는 왜 심사위원 편차가 크게 날까요?
대부분의 평가표에는 시장성, 팀 역량처럼 항목 이름만 있고 몇 점이 무엇을 뜻하는지는 비어 있습니다. 그러면 심사위원마다 자기 경험을 기준으로 삼아 같은 팀에 3점과 5점이 동시에 부여됩니다.
초기 기업 심사는 정보가 적고 불확실성이 큽니다. 근거가 부족할수록 판단은 발표자의 말투, 외모, 자신감 같은 인상으로 기울기 쉽습니다.
평가표의 역할은 직감을 배제하는 것이 아닙니다. 직감의 근거를 드러내고, 모든 팀이 같은 기준으로 평가받게 하는 것입니다.
심사의 직감과 편향에 대해 해외 연구는 무엇을 말할까요?
Huang과 Pearce(2015)는 엔젤투자자의 결정을 세 편의 연구로 분석했습니다. 투자자들은 공식 분석과 경험에서 나온 직관을 함께 쓰되, 창업자에 대한 직관을 분석보다 앞세웠습니다. 창업자에 대한 이 직감은 4년 뒤 큰 수익을 낸 기업을 예측하는 데에도 유효했습니다.
Brooks 등(2014)은 엔젤투자자가 심사한 실제 피칭 경연 3곳의 발표 90건을 분석했습니다. 남성 창업자가 선정될 가능성이 60% 높았고, 외모 평가가 높은 남성은 낮은 남성보다 36% 더 유리했습니다.
같은 연구의 실험에서는 내용이 똑같은 피칭을 남성과 여성의 목소리로 들려주었습니다. 참가자 521명 가운데 68.33%가 남성 목소리로 소개된 사업에 투자하겠다고 선택했습니다.
Kanze 등(2018)은 투자자가 남성 창업자에게는 성장 가능성을, 여성 창업자에게는 손실 위험을 더 자주 묻는다고 보고했습니다. 손실을 묻는 질문이 하나 늘 때마다 투자 유치가 유의하게 줄었습니다.
| 연구 | 확인된 현상 | 평가표 대응 |
|---|---|---|
| Huang과 Pearce(2015) | 창업자에 대한 직관이 분석보다 앞섬 | 총평 점수를 별도 칸으로 분리 |
| Brooks 등(2014) | 같은 내용도 발표자 성별과 외모에 따라 선택이 달라짐 | 자료 채점을 발표 채점보다 먼저 진행 |
| Kanze 등(2018) | 성별에 따라 질문 유형이 달라지고 결과에 영향 | 모든 팀에 같은 핵심 질문 배정 |
평가 항목과 앵커 문장은 어떻게 작성하면 될까요?
항목은 심사위원이 자료와 발표에서 직접 확인할 수 있는 근거로 정의합니다. '팀 역량이 우수한가' 대신 '핵심 업무를 직접 수행해 본 구성원이 있는가'처럼 작성합니다.
앵커는 점수마다 붙이는 기준 문장입니다. 5점 척도라면 최소한 1점과 5점에 어떤 근거가 확인되어야 하는지 명시하고, 3점은 그 중간 상태로 정리합니다.
- 항목은 5개에서 6개 사이로 줄여 끝까지 같은 기준을 유지하게 합니다.
- 총평 점수는 따로 두되 합산 비중을 낮게 설정하고, 근거 한 줄을 함께 적게 합니다.
| 평가 항목 | 1점 앵커 | 5점 앵커 |
|---|---|---|
| 문제 정의 | 문제가 일반론으로만 서술됨 | 누가 언제 얼마나 자주 겪는지 수치로 제시 |
| 고객 검증 | 직접 만난 고객 기록이 없음 | 사전 신청이나 유료 테스트 사용 같은 행동 근거 |
| 시장 규모 | 출처 없는 전체 시장 수치만 있음 | 고객 수와 단가로 계산한 바텀업 산정 |
| 실행 역량 | 역할 분담과 일정이 불분명함 | 핵심 업무 경험자와 3개월 실행 일정 |
| 자금 계획 | 항목별 사용처가 없음 | 검증 단계별 사용처와 목표 지표가 연결됨 |
심사 순서와 진행 방식은 어떻게 구성해야 할까요?
평가표가 좋아도 진행 절차가 흐트러지면 편차는 다시 커집니다. 핵심은 각자 먼저 채점하고, 차이가 큰 항목만 논의하는 것입니다.
이름과 사진을 가린 자료 채점을 발표 심사보다 앞에 두면 발표자 인상이 개입할 여지가 줄어듭니다. 발표 후 자료 점수를 수정할 때는 사유를 한 줄 기록하게 합니다.
- 심사 시작 전 30분 동안 앵커 문장을 함께 읽고 예시 팀 하나를 모의 채점합니다.
- 모든 팀에 같은 핵심 질문 세 개를 정하고, 성장 가능성과 위험을 묻는 질문을 균형 있게 섞습니다.
- 심사위원은 서로 의견을 나누기 전에 각자 점수를 먼저 제출합니다.
- 점수 차이가 2점 이상인 항목만 선정해 근거를 설명하고, 필요하면 한 번 다시 채점합니다.
심사가 끝난 뒤 기관 담당자는 무엇을 확인할까요?
심사위원별 평균 점수와 항목별 점수 분포를 한 장으로 정리합니다. 한 심사위원이 모든 팀에 높거나 낮은 점수를 주었다면 심사위원별 표준화 점수로 합산하는 방안을 검토합니다.
탈락 팀에는 항목별 점수와 앵커 기준을 함께 안내합니다. 어떤 근거가 있었다면 점수가 올랐을지 안내하면 다음 지원서의 완성도가 높아집니다. 운영 회차가 누적되면 선발 점수와 이후 성과를 비교해 앵커 문장을 해마다 보완합니다.
심사위원의 직감을 배제하지 않되, 그 직감의 근거를 점수표에 기록하게 합니다.
자주 묻는 질문
Q.창업 경진대회 평가 항목은 몇 개가 적당한가요?
5개에서 6개를 권합니다. 항목마다 앵커 문장을 붙일 수 있는 수준으로 줄여야 심사위원이 마지막 팀까지 같은 기준을 유지합니다.
Q.심사위원 사이 점수 차이가 크면 어떻게 처리하나요?
차이가 큰 항목만 선정해 각자 근거를 설명하게 한 뒤 한 번 다시 채점합니다. 그래도 특정 심사위원의 점수가 전반적으로 치우쳐 있다면 심사위원별 표준화 점수로 합산합니다.
Q.데모데이 심사에도 같은 평가표를 활용할 수 있나요?
구조는 유지하고 항목 비중만 조정합니다. 투자 검토 성격이 강한 자리라면 고객 검증과 실행 역량의 비중을 높이는 것이 적절합니다.
Q.블라인드 심사는 편향을 줄이는 데 도움이 되나요?
자료 단계에서는 도움이 됩니다. 같은 피칭도 발표자에 따라 선택이 달라졌다는 연구가 있으므로, 이름과 사진을 가린 자료 채점을 발표 심사보다 먼저 진행하는 것이 좋습니다.
Q.심사위원 사전 안내는 얼마나 해야 하나요?
심사 직전 30분이면 충분합니다. 앵커 문장을 함께 읽고 예시 팀 하나를 모의 채점해 서로의 점수 차이를 미리 확인하는 것이 핵심입니다.
참고 자료
- Managing the Unknowable: The Effectiveness of Early-stage Investor Gut Feel in Entrepreneurial Investment Decisions, Laura Huang, Jone L. Pearce, Administrative Science Quarterly, 2015 (LSE Business Review 요약)
- Investors prefer entrepreneurial ventures pitched by attractive men, Alison Wood Brooks, Laura Huang, Sarah Wood Kearney, Fiona E. Murray, PNAS, 2014
- We Ask Men to Win and Women Not to Lose: Closing the Gender Gap in Startup Funding, Dana Kanze, Laura Huang, Mark A. Conley, E. Tory Higgins, Academy of Management Journal, 2018
큐케이파트너스창업교육, AI 교육, BM 고도화, IR 덱 제작, 데모데이 운영을 하는 스타트업 그로스 파트너입니다. 창업 현장에서 반복되는 질문을 연구와 심사·교육 경험으로 정리합니다.