← 인사이트

AI Lab · No.31

AI 시장조사 검증법, 출처와 수치를 다시 확인하는 순서

생성형 AI로 시장조사와 경쟁사 분석을 할 때 출처와 수치를 확인하고 환각을 걸러 내는 순서를 정리했습니다.

AI 창업 실습스타트업

생성형 AI 시장조사 검증은 AI가 제시한 수치와 출처를 원문까지 추적해 확인하고, 확인되지 않은 내용을 결과물에서 제외하는 작업입니다. AI는 조사 속도를 크게 높여 주지만 문장이 매끄럽다고 사실이 정확한 것은 아닙니다. 따라서 질문 단계부터 확인할 수 있는 형태로 답을 받도록 설계해야 합니다.

Key Points · 핵심 요약
  1. AI가 제시한 인용의 상당수는 해당 문장을 실제로 뒷받침하지 못한다는 연구 결과가 있습니다.
  2. 질문할 때 출처 링크, 발행 연도, 원문 인용을 함께 요구하면 검증 단서가 확보됩니다.
  3. 경쟁사 비교표는 AI가 초안을 채우는 칸과 사람이 직접 확인하는 칸을 나눠 관리합니다.

AI가 정리한 시장조사는 왜 그대로 사용하면 안 될까요?

생성형 AI는 질문에 맞는 그럴듯한 문장을 만들도록 학습된 도구입니다. 모르는 내용도 단정적인 문장으로 채울 수 있으며, 이를 흔히 환각이라고 부릅니다.

시장조사에서 문제가 되는 오류는 대체로 세 가지입니다. 존재하지 않는 보고서나 기사를 출처로 제시하는 경우, 출처는 실제로 있지만 그 안에 해당 수치가 없는 경우, 몇 년 전 수치를 최신 수치처럼 인용하는 경우입니다.

세 경우 모두 결과물만 읽어서는 구별하기 어렵습니다. 따라서 검증은 AI 답변을 다시 읽는 것이 아니라 원문을 직접 확인하는 작업이어야 합니다.

해외 연구는 AI 인용의 정확도를 어떻게 측정했나요?

류, 장, 량(2023)은 생성형 검색 엔진 네 종의 답변을 사람이 직접 평가했습니다. 생성된 문장 가운데 인용으로 온전히 뒷받침되는 비율은 평균 51.5%였습니다.

같은 연구에서 제시된 인용이 해당 문장을 실제로 뒷받침하는 비율은 74.5%에 그쳤습니다. 출처가 달려 있어도 네 개 중 하나는 그 문장의 근거가 아니었다는 의미입니다.

월터스와 와일더(2023)는 대화형 AI에게 42개 주제의 짧은 문헌 검토를 작성하게 하고 인용 636건을 확인했습니다. 허위 인용은 구형 모델에서 55%, 후속 모델에서 18%였습니다.

실제로 존재하는 인용 안에서도 내용 오류가 구형 모델 43%, 후속 모델 24%로 나타났습니다. 모델 성능이 향상될수록 오류는 줄지만 완전히 사라지지는 않는다는 점이 핵심입니다.

야지빈스카와 찬드라세카르(2025)는 AI 검색 도구 8개에 기사 원문 출처를 찾게 하는 질문 1,600건을 제시했습니다. 도구 전체로 보면 60% 이상의 질문에서 오답을 냈습니다.

확인할 수 있는 답을 받으려면 질문을 어떻게 설계할까요?

질문 범위가 넓으면 답변도 모호해지고 출처도 불분명해집니다. 대상 시장, 기간, 지역 범위, 원하는 수치의 단위를 질문에 먼저 명시합니다.

출처는 답변을 받은 뒤에 묻지 말고 처음부터 답변 형식으로 요구합니다. 수치마다 발행 기관 유형, 발행 연도, 링크, 원문 문장을 한 줄씩 명시하도록 지시합니다.

모르는 내용은 모른다고 답하라는 지시도 포함합니다. 확인되지 않은 항목은 빈칸으로 두라고 하면 임의의 수치로 칸을 채우는 일이 줄어듭니다.

시장조사 질문을 검증 가능한 형태로 바꾸는 예시
구분모호한 질문검증 가능한 질문
범위반려동물 시장 규모 알려 줘국내 반려동물 사료 시장의 최근 3년 연간 규모를 원화로
출처근거도 같이 줘수치마다 발행 연도, 링크, 원문 문장을 표로 정리
모름 처리지시 없음확인되지 않으면 추정하지 말고 확인 불가로 표시
경쟁사경쟁사 정리해 줘공식 홈페이지에 공개된 요금제와 주요 기능만 정리

수치와 출처는 어떤 순서로 확인할까요?

확인은 출처가 존재하는지, 그 안에 수치가 있는지, 다른 자료와 일치하는지 순서로 진행합니다. 앞 단계에서 문제가 발견되면 이후 단계는 진행할 필요가 없습니다.

수치가 지나치게 정확히 떨어지거나, 링크가 열리지 않거나, 보고서 제목이 검색되지 않으면 환각을 의심합니다. 이런 항목은 수정하려 하지 말고 결과물에서 삭제합니다.

  • 링크를 직접 열어 문서가 실제로 존재하는지 확인합니다.
  • 원문에서 해당 수치와 기준 연도를 찾아 그대로 옮겨 적습니다.
  • 같은 수치를 성격이 다른 자료 하나 이상에서 다시 찾아 비교합니다.
  • 두 자료의 수치가 다르면 조사 범위와 정의가 어떻게 다른지 기록해 둡니다.
  • 최종적으로 확인하지 못한 수치는 가정으로 표시하거나 삭제합니다.

경쟁사 비교표는 누가 어느 칸을 채워야 할까요?

경쟁사 비교표는 공개 정보를 모으는 칸과 직접 경험해야 알 수 있는 칸이 섞여 있습니다. 전자는 AI에 초안 작성을 위임하고, 후자는 사람이 작성합니다.

AI가 채운 칸에도 확인 날짜와 링크를 남깁니다. 요금과 기능은 자주 변경되므로 확인 날짜가 없는 칸은 발표 직전에 재확인합니다.

경쟁사 비교표의 작성 주체 구분
항목채우는 주체확인 방법
회사 소개, 공개 요금제AI 초안 후 사람 확인공식 홈페이지 링크와 확인 날짜
주요 기능 목록AI 초안 후 사람 확인제품 소개 페이지 대조
가입과 사용 경험사람직접 가입해 핵심 기능 사용
고객이 느끼는 불만사람고객 인터뷰와 공개 후기 원문
자사와의 차이사람위 칸을 근거로 팀이 직접 작성
원문 확인 원칙

AI가 제시한 근거는 후보에 불과하며, 사람이 원문을 직접 확인한 시점부터 근거가 됩니다.

자주 묻는 질문

Q.AI에 출처를 요구하면 환각이 사라지나요?

사라지지 않습니다. 출처를 요구하면 검증 단서가 확보될 뿐이며, 출처의 실재 여부와 내용의 정확성은 별도로 확인해야 합니다.

Q.검색 기능이 있는 AI라면 결과를 신뢰해도 되나요?

검색 기능이 있어도 인용이 문장을 뒷받침하지 못하는 경우가 연구에서 확인되었습니다. 링크가 달려 있다는 사실보다 링크 안의 문장을 기준으로 판단합니다.

Q.자료마다 시장 수치가 다르면 어느 것을 인용해야 하나요?

조사 범위와 정의가 자사 고객과 가장 가까운 자료를 선택합니다. 다른 자료의 수치는 함께 기재하고 차이가 생긴 이유를 한 줄로 밝힙니다.

Q.경쟁사 분석을 AI에 전부 위임하면 어떤 문제가 생기나요?

공개된 정보만으로 표가 채워져 실제 사용 경험과 고객 불만이 빠집니다. 차별점은 그 공백에서 도출되므로 사람이 직접 사용해 보고 고객 의견을 들어야 합니다.

Q.검증에는 시간이 얼마나 드나요?

핵심 수치 다섯 개 안팎이라면 한두 시간 안에 완료됩니다. 모든 문장을 확인하기보다 결론을 좌우하는 수치와 경쟁사 칸부터 확인합니다.

참고 자료

큐케이파트너스창업교육, AI 교육, BM 고도화, IR 덱 제작, 데모데이 운영을 하는 스타트업 그로스 파트너입니다. 창업 현장에서 반복되는 질문을 연구와 심사·교육 경험으로 정리합니다.

프로그램 설계가 필요하신가요?

랜딩페이지 반응과 타깃고객 설문으로 수요를 확인하는 고객검증 프로그램을 운영합니다.