생성형 AI로 랜딩페이지와 설문 데이터를 분석할 때는 AI에 해석을 요청하기 전에 볼 지표 세 개를 정하고, AI가 낸 계산은 반드시 검산해야 합니다. 방문, 전환, 유입 경로만 정확히 집계해도 다음 테스트를 정할 수 있습니다. 방문자가 수십 명인 단계에서는 전환율을 한 점이 아니라 범위로 해석합니다.
- 지표는 방문, 전환, 유입 경로 세 개로 시작하고 각각의 정의를 분석 전에 적어 둡니다.
- 데이터 분석 과제 466개로 평가한 연구에서 가장 나은 AI 에이전트도 34.12%만 해결했습니다.
- 방문 100명 중 5명 신청은 5%로 단정하지 않고 대략 2%에서 11% 사이로 해석합니다.
랜딩페이지 데이터는 어떤 지표 세 개로 시작할까요?
방문, 전환, 유입 경로 세 개면 충분합니다. 초기에 지표를 늘리면 어떤 수치를 근거로 무엇을 바꿀지 정하지 못한 채 보고서만 길어집니다.
더 중요한 것은 정의입니다. 같은 사람이 세 번 접속한 경우를 방문 한 번으로 볼지, 전환을 버튼 클릭으로 볼지 신청 완료로 볼지를 분석 전에 한 줄로 적어 둡니다. 정의가 없으면 AI도 매번 다른 기준으로 집계합니다.
| 지표 | 정의 예시 | 답하는 질문 |
|---|---|---|
| 방문 | 기간 중 페이지를 연 사람 수, 중복 제외 | 메시지가 충분히 노출됐는가 |
| 전환 | 신청 양식 제출을 마친 사람 수 | 노출된 사람 중 몇 명이 행동했는가 |
| 유입 경로 | 방문과 전환을 들어온 경로별로 나눈 값 | 어느 고객군에게 메시지가 맞는가 |
AI에 데이터 분석을 의뢰하면 얼마나 정확할까요?
현재로서는 검산 없이 신뢰할 수준이 아닙니다. 징 등(2024)은 데이터 분석 과제 466개와 모델링 과제 74개로 AI 에이전트를 평가했습니다. 가장 성적이 좋은 에이전트도 분석 과제의 34.12%만 해결했습니다.
주 등(2024)은 가설검정 중심의 통계 문항 11,623개로 언어 모델을 평가했습니다. 가장 높은 정확도를 낸 모델도 64.83%에 머물렀습니다.
오류의 유형이 더 중요합니다. 같은 연구에서 모델의 오류는 데이터나 질문에 맞지 않는 분석 방법을 선택하는 적용 오류가 중심이었습니다. 사람은 과제의 종류를 혼동하는 오류가 많아, 연구진은 AI와 사람이 상호 보완할 수 있다고 평가했습니다.
창업자에게 주는 시사점은 분명합니다. 계산과 표 정리는 AI에 위임하되, 집계 방법과 결과의 정확성은 사람이 정하고 확인합니다.
데이터는 어떤 순서로 정리해 AI에 분석을 요청할까요?
다섯 단계로 진행합니다. 특히 AI가 계산한 수치를 원본에서 직접 다시 집계하는 검산 단계는 생략하지 않습니다.
개인정보는 정리 단계에서 삭제합니다. 이름, 연락처, 이메일 열을 제외하고 날짜, 경로, 전환 여부처럼 분석에 필요한 열만 남긴 파일을 전달합니다.
요청 문장에는 정의와 형식을 함께 넣습니다. 예를 들어 전환은 신청 완료 행만 센다고 밝히고, 경로별 방문과 전환, 전환율 표를 계산식과 함께 제시해 달라고 요청합니다.
| 단계 | 할 일 | 확인할 것 |
|---|---|---|
| 1. 내보내기 | 웹 분석 도구와 신청 양식에서 같은 기간 데이터를 파일로 받기 | 두 파일의 기간과 시간대가 같은가 |
| 2. 정리하기 | 테스트 신청, 팀원 방문, 중복 제출, 개인정보 열 제거 | 삭제한 행의 수와 사유를 기록했는가 |
| 3. 요청하기 | 지표 정의를 붙여 경로별 방문, 전환, 전환율 표 요청 | 계산식도 함께 보여 달라고 했는가 |
| 4. 검산하기 | 합계와 경로 한두 개를 원본에서 직접 집계해 비교 | 경로별 합이 전체와 맞는가 |
| 5. 해석하기 | 표본 크기를 함께 적고 범위로 해석 | 결론이 수치로 뒷받침되는가 |
방문자가 적을 때 전환율은 어떻게 해석해야 할까요?
전환율은 한 점이 아니라 범위로 해석합니다. 공학 통계 핸드북은 표본이 아주 작을 때 흔히 쓰는 정규근사 공식이 충분히 정확하지 않을 수 있다고 설명하고, 윌슨 구간을 함께 소개합니다.
아래 표는 윌슨 방법으로 계산한 95% 구간입니다. 같은 5%라도 방문 100명일 때와 400명일 때 말할 수 있는 범위가 크게 다릅니다.
신청이 한 건도 없을 때도 0%로 단정하지 않습니다. 사건이 0건이면 95% 상한이 대략 3을 표본 수로 나눈 값이라는 3의 법칙이 있습니다. 방문 60명에 신청 0건이면 실제 전환율이 5%까지일 수 있다는 뜻입니다.
두 헤드라인을 비교할 때도 같습니다. 범위가 크게 겹치면 우열을 판단하지 않고 방문을 더 모으거나 차이가 더 분명한 안으로 다시 테스트합니다.
| 방문 | 신청 | 관측 전환율 | 가능한 범위 |
|---|---|---|---|
| 30명 | 3명 | 10% | 3.5~25.6% |
| 50명 | 4명 | 8% | 3.2~18.8% |
| 100명 | 5명 | 5% | 2.2~11.2% |
| 400명 | 20명 | 5% | 3.3~7.6% |
| 1,000명 | 40명 | 4% | 3.0~5.4% |
AI가 내놓은 해석에서 무엇을 의심해야 할까요?
AI는 수치에 그럴듯한 설명을 덧붙이는 데 능숙합니다. 그 설명은 가설로만 받아들이고, 검증 방법을 함께 기록합니다.
설문과 랜딩페이지 결과가 엇갈리면 행동 데이터를 기준으로 삼습니다. 설문은 그 차이를 설명할 가설을 찾는 데 씁니다.
| 관측된 지표 | 가능한 해석 | 다음 행동 |
|---|---|---|
| 방문 적음, 전환율 높음 | 메시지는 맞지만 노출이 부족 | 같은 경로로 노출 범위 확대 |
| 방문 많음, 전환율 낮음 | 노출 대상과 메시지가 불일치 | 경로별로 나눠 적합한 고객군 탐색 |
| 한 경로에 전환 집중 | 해당 경로 유입자가 첫 고객 후보 | 그 고객군 인터뷰로 이유 확인 |
| 설문 긍정, 신청 적음 | 의향과 행동 사이의 간격 | 신청 행동을 기준으로 판단 |
| AI 표 합계 불일치 | 중복 집계나 필터 누락 | 원본 재집계 후 정리 단계로 복귀 |
AI가 계산을 대신할수록 창업자의 역할은 지표 정의, 검산, 표본 크기 병기로 옮겨 갑니다.
자주 묻는 질문
Q.랜딩페이지 방문자가 몇 명이면 결론을 낼 수 있나요?
정해진 수치보다 범위의 폭이 기준입니다. 전환율 범위가 다음 행동을 바꿀 만큼 넓다면 아직 판단하기 이릅니다. 방문 수와 신청 수를 항상 함께 기록하면 판단이 쉬워집니다.
Q.AI에게 원본 데이터를 그대로 올려도 되나요?
이름, 연락처, 이메일 같은 개인정보 열은 삭제한 뒤 업로드합니다. 분석에는 날짜, 경로, 전환 여부 정도면 충분합니다. 외부 도구 사용이 제한된 데이터라면 요약 수치만 전달합니다.
Q.AI가 계산한 전환율이 맞는지 어떻게 확인하나요?
합계부터 봅니다. 경로별 방문을 더한 값이 전체 방문과 같은지 확인하고, 경로 한두 개는 원본에서 직접 집계합니다. 계산식을 함께 받아 두면 어디서 틀렸는지 찾기 쉽습니다.
Q.설문 결과도 AI로 분석해도 되나요?
선택형 문항의 집계는 AI에 위임해도 됩니다. 다만 응답 수와 자격 조건을 먼저 확인하고, 비율은 랜딩페이지와 같은 방식으로 범위로 해석합니다. 주관식 응답 요약은 원문 일부와 대조해 확인합니다.
Q.헤드라인 두 개를 비교할 때 무엇을 조심하나요?
같은 기간, 같은 경로에서 나눠 노출해야 비교가 가능합니다. 두 전환율의 범위가 크게 겹치면 차이가 없는 것으로 판단하고 방문을 더 확보합니다.
참고 자료
- DSBench: How Far Are Data Science Agents from Becoming Data Science Experts?, Liqiang Jing 외 (arXiv 2409.07703), 2024
- Are Large Language Models Good Statisticians?, Yizhang Zhu 외 (arXiv 2406.07815), 2024
- Confidence Intervals for a Proportion, NIST/SEMATECH e-Handbook of Statistical Methods
- Archimedes: rule of three (Hanley·Lippman-Hand, JAMA 1983 인용), Archives of Disease in Childhood 90(6)
큐케이파트너스창업교육, AI 교육, BM 고도화, IR 덱 제작, 데모데이 운영을 하는 스타트업 그로스 파트너입니다. 창업 현장에서 반복되는 질문을 연구와 심사·교육 경험으로 정리합니다.