← 인사이트

Startup Guide · No.47

고객검증 통과 기준, 테스트 전에 정해야 할 정량 수치

고객검증 테스트를 시작하기 전에 가설, 지표, 기준값, 표본, 기간을 정량적으로 정하고 검증 단계를 설계하는 방법을 정리했습니다.

창업 실무 가이드스타트업 · 예비창업자

고객검증 통과 기준은 테스트를 시작하기 전에 어떤 결과가 나오면 가설을 유지하고, 어떤 결과가 나오면 폐기할지 미리 정해 두는 정량 기준입니다. 가설, 지표, 기준값, 표본, 기간을 사전에 확정하고, 구두 반응보다 고객이 실제로 비용이나 시간을 들인 행동을 판단 근거로 삼습니다. 그래야 결과를 확인한 뒤 기준을 바꾸는 오류를 막을 수 있습니다.

Key Points · 핵심 요약
  1. 통과 기준은 가설, 지표, 기준값, 표본, 기간 다섯 항목을 테스트 전에 확정한 기록입니다.
  2. 검증 근거의 신뢰도는 인터뷰 반응, 대기 신청, 선결제·의향서, 반복 사용 순으로 높아집니다.
  3. 숀 엘리스의 제품시장적합성 설문은 '매우 실망' 응답 40%를 기준선으로 사용합니다.

고객검증 통과 기준이란 무엇일까요?

테스트 결과를 확인하기 전에 어떤 수치가 나오면 다음 단계로 진행하고, 어떤 수치가 나오면 중단할지 정해 둔 기준입니다. 기준이 없으면 작은 반응에도 가능성이 있다는 해석이 붙기 쉽습니다.

기준은 다섯 항목으로 작성합니다. 한 항목이라도 비어 있으면 결과가 나와도 판정할 수 없으므로, 모든 항목을 확정한 뒤에 테스트를 시작합니다.

  • 가설은 누가, 무엇을, 얼마나 할지 반증 가능한 문장으로 작성합니다.
  • 지표는 가설이 맞을 때 변화가 나타날 고객 행동 하나로 정합니다.
  • 기준값은 통과선과 폐기선을 함께 정하고, 그 사이를 재검증 구간으로 둡니다.
  • 표본은 대상 조건과 인원, 모집 경로까지 정합니다.
  • 기간은 종료일을 정하고, 종료 전에는 판정하지 않습니다.

기준을 먼저 정하라는 근거는 무엇일까요?

노섹 등(2018)은 이미 확인한 데이터로 가설을 세우는 일과 새로운 데이터로 가설을 검증하는 일을 구분해야 한다고 강조합니다. 결과를 본 뒤에는 그 결과가 처음부터 예측 가능했던 것처럼 느끼는 사후확신 편향이 개입하기 때문입니다.

이들이 제시한 해법은 사전등록입니다. 결과를 알기 전에 분석 절차를 확정해 두면 예측과 사후 설명이 섞이지 않습니다.

시먼스 등(2011)은 시뮬레이션과 실제 실험을 통해, 공개되지 않은 분석상의 선택이 결과를 왜곡할 수 있음을 보였습니다. 자료 수집과 분석에 재량이 많을수록 거짓 양성 비율이 명목 수준인 5%를 크게 넘었고, 존재하지 않는 효과를 발견할 가능성이 더 높은 경우도 있었습니다.

조하리 등(2015)은 A/B 테스트의 중간 결과를 수시로 확인하다가 종료 시점을 임의로 정하면 일반적인 p값과 신뢰구간을 신뢰할 수 없다고 지적했습니다. 테스트 기간을 사전에 확정해야 하는 이유입니다.

에릭 리스는 혁신 회계를 기준선 설정, 성장 엔진 조정, 피벗 또는 유지의 세 단계로 설명했습니다. 현재 고객 행동을 먼저 측정하고, 실험을 통해 목표 수치에 가까워지는지 확인한 뒤, 개선이 멈추면 방향을 전환하라는 의미입니다.

검증 근거는 어떤 단계로 확보해야 할까요?

고객이 들이는 비용이 클수록 검증 근거의 신뢰도가 높아집니다. 구두 반응에는 비용이 들지 않고, 연락처 제공에는 일정한 신뢰가, 결제와 서명에는 실제 구매 결정이 필요합니다.

앞 단계의 기준을 충족해야 다음 단계로 진행합니다. 표의 기준값은 작성 방법을 보여 주기 위한 예시이며, 실제 값은 각 사업의 수익 구조에서 역산해 정합니다.

마지막 단계에는 참고할 수 있는 외부 기준선이 있습니다. 숀 엘리스는 제품을 더 이상 사용할 수 없게 된다면 어떻게 느끼겠느냐고 묻고, '매우 실망' 응답 비율을 확인했습니다. 그는 100여 개 스타트업을 비교해 40%를 기준선으로 제시했습니다.

이메일 서비스 스타트업 슈퍼휴먼의 라훌 보라 대표는 이 설문을 처음 진행했을 때 22%가 나오자 제품시장적합성에 아직 도달하지 못했다고 판단했습니다. 이후 세 분기 동안 제품을 개선해 58%까지 끌어올렸습니다.

검증 단계별 지표와 통과 기준 예시
단계지표통과 기준 예시주의점
인터뷰 반응최근 사례를 구체적으로 설명한 비율대상 12명 중 7명 이상칭찬과 사용 의향은 집계에서 제외
관심 행동방문 대비 대기 신청 비율방문 300명 중 신청 15명 이상유입 경로가 섞이면 비율 해석이 어려움
약속 행동선결제, 예약금, 의향서 건수신청자 중 5명 이상 결제환불 조건과 일정을 사전 고지
반복 사용재사용률, '매우 실망' 응답 비율'매우 실망' 40% 이상최근 2주 내 2회 이상 사용자만 조사

기준값과 표본, 기간은 어떻게 정할까요?

기준값은 희망하는 수치가 아니라 사업이 성립하는 최소 수준에서 역산합니다. 고객 한 명이 창출하는 이익과 고객 한 명을 확보하는 비용을 비교하면 달성해야 할 전환율을 산출할 수 있습니다.

통과선과 폐기선 사이에는 재검증 구간을 둡니다. 결과가 이 구간에 들어오면 메시지나 대상 중 하나만 바꿔 다시 테스트한다는 원칙을 미리 정해 둡니다.

표본은 판정 결과가 안정적으로 유지될 수준이면 충분합니다. 보라 대표는 응답이 약 40건 모이면 방향을 판단할 수 있다고 보았으며, 당시 설문 대상 사용자는 100~200명이었습니다.

기간은 종료일을 일정표에 명시합니다. 초기 사흘의 수치가 좋다는 이유로 조기 종료하거나, 수치가 낮다는 이유로 기간을 연장하면 앞서 소개한 연구가 경고한 오류를 반복하게 됩니다.

기준을 변경할 사유가 생기더라도 진행 중인 테스트는 기존 기준으로 판정해 기록합니다. 새 기준은 다음 테스트부터 적용하고, 변경 사유를 함께 남깁니다.

가짜 문 테스트는 어떤 원칙으로 운영해야 할까요?

가짜 문(Fake Door) 테스트는 아직 개발하지 않은 기능의 버튼이나 결제 화면을 먼저 노출하고, 클릭한 사람의 수로 수요를 측정하는 방법입니다. 개발 전에 수요를 확인할 수 있지만, 고객이 기만당했다고 느끼면 신뢰를 잃어 실제 구매로 이어지기 어렵습니다.

운영 원칙은 클릭 직후 준비 중임을 안내하고, 받은 결제와 정보는 사전에 고지한 범위 안에서만 사용하는 것입니다.

  • 버튼을 클릭하면 바로 준비 중임을 안내하고 출시 알림 신청을 받습니다.
  • 예약금을 받는다면 출시 시점과 전액 환불 조건을 결제 전에 고지합니다.
  • 연락처는 수집 목적을 밝히고 동의를 받은 뒤 해당 목적으로만 사용합니다.
  • 출시가 무산되면 결제한 고객에게 먼저 알리고 즉시 환불합니다.
사전 기준 설정 원칙

통과 기준은 결과를 확인하기 전에 정했을 때만 판정 근거가 되며, 결과를 본 뒤에 정한 기준은 사후 해석에 불과합니다.

자주 묻는 질문

Q.고객검증 통과 기준은 어떤 수치로 정해야 하나요?

사업이 성립하는 최소 수준에서 역산합니다. 고객 한 명의 이익과 확보 비용을 비교해 달성해야 할 전환율을 계산합니다. 다른 기업의 평균값을 그대로 적용하면 자사 손익 구조와 맞지 않을 수 있습니다.

Q.결과가 기준에 조금 못 미치면 실패인가요?

미리 정한 재검증 구간 안이라면 실패로 판단하지 않습니다. 대상이나 메시지 중 하나만 바꿔 다시 테스트합니다. 다만 재검증 구간도 결과를 확인하기 전에 정해 두어야 합니다.

Q.인터뷰 반응만으로 검증되었다고 할 수 있나요?

문제 가설의 첫 단계를 통과했다고 볼 수 있습니다. 결제나 반복 사용까지 확인한 것은 아니므로 다음 단계 테스트가 필요합니다. 사업계획서에도 어느 단계의 검증 결과인지 함께 명시합니다.

Q.'매우 실망' 40% 기준은 출시 전에도 적용할 수 있나요?

제품을 실제로 사용해 본 고객이 있어야 적용할 수 있습니다. 해당 사례에서도 최근 2주 동안 2회 이상 사용한 고객에게만 설문했습니다. 출시 전이라면 대기 신청이나 선결제 단계의 기준을 먼저 적용합니다.

Q.테스트 도중 수치가 좋으면 일찍 종료해도 되나요?

정한 기간까지 진행합니다. 중간 결과를 수시로 확인하다 좋을 때 종료하면 우연한 차이를 성과로 오인하기 쉽습니다. 조기 종료가 필요하다면 그 조건도 테스트 시작 전에 정해 둡니다.

참고 자료

큐케이파트너스창업교육, AI 교육, BM 고도화, IR 덱 제작, 데모데이 운영을 하는 스타트업 그로스 파트너입니다. 창업 현장에서 반복되는 질문을 연구와 심사·교육 경험으로 정리합니다.

프로그램 설계가 필요하신가요?

랜딩페이지 반응과 타깃고객 설문으로 수요를 확인하는 고객검증 프로그램을 운영합니다.