AI 답변의 출처를 확인하는 법
검색 연동 AI의 함정
① 검색 연동 AI는 답변에 링크와 각주를 붙여주지만, 링크가 있다는 것과 그 링크가 주장을 뒷받침한다는 것은 다른 문제다. 실제 측정에서도 AI 뉴스 답변의 45%에 중대한 문제가 있었고, 가장 큰 원인이 출처(31%)였다.
② 출처는 없는 링크 · 있지만 뒷받침 안 하는 링크 · 원본이 아닌 복사본 · 낡았거나 날짜 없는 근거, 네 가지 방식으로 실패한다. 앞의 둘은 클릭으로 걸리지만 뒤의 둘은 한 번 더 봐야 걸린다.
③ 해법은 모든 링크를 다 검증하는 게 아니라 숫자·인용·날짜·인과 주장만 골라 60초 안에 원문과 대조하는 습관이다.
① 들어가며 — 각주가 달렸다고 검증된 건 아니다
AI 환각 가이드에서 "출처의 존재는 검증의 시작이지 끝이 아니다"라고 한 단락으로 짚고 넘어갔다. 이 글은 그 한 단락을 풀어서 쓴다. 검색 기능이 붙은 AI는 요즘 답변 끝에 [1], [2] 같은 번호와 링크를 단다. 그걸 보면 누구나 "근거가 있구나" 하고 안심하게 된다. 문제는 그 안심이 얼마나 맞는지 실제로 잰 결과가 있고, 생각보다 낮다는 점이다.
② 검색 연동 AI는 출처를 어떻게 붙이나
구조를 알아야 어디서 어긋나는지 보인다. 대부분의 검색 연동 AI는 검색해서 → 문서를 읽고 → 요약해서 → 읽은 문서를 각주로 붙이는 순서로 일한다(RAG 완전 이해의 4단계와 같은 뼈대다). 여기서 각주는 "이 답변을 만들 때 가져온 문서"를 가리킨다.
문서를 가져오는 것까지는 검색이지만, 그 문서를 읽고 문장으로 바꾸는 단계는 여전히 다음 토큰을 예측하는 생성이다. 그래서 각주 번호가 붙은 문장이 그 문서에 실제로 그렇게 쓰여 있다는 보장은 구조적으로 없다. 숫자가 바뀌거나, 두 문서의 내용이 한 문장에 섞이거나, 문서에 없는 해석이 슬쩍 들어가도 번호는 그대로 달린다.
각주가 있으면 오히려 더 믿게 된다는 게 함정이다. 출처 없는 답변은 의심하면서, 같은 내용에 [1]이 붙으면 검증이 끝난 것처럼 받아들이기 쉽다. 번호는 검증의 결과가 아니라 검증할 대상의 위치를 알려줄 뿐이다.
③ 실제로 얼마나 틀리나 — 두 가지 측정
"출처 문제가 있다"는 감이 아니라 숫자가 있다. 서로 방법이 다른 두 연구를 같이 본다.
| 연구 | 방법 | 결과 |
|---|---|---|
| EBU·BBC (2025년 10월 발표) | 공영방송 22곳(18개국·14개 언어)의 기자들이 ChatGPT·Copilot·Perplexity·Gemini 무료 버전의 뉴스 답변 2,709건을 정확성·출처 등 5개 기준으로 평가 | 한 건 이상 중대한 문제 45%(경미한 문제까지 포함하면 81%). 중대한 문제의 가장 큰 원인이 출처 31%. Gemini는 출처 문제가 72%로 두드러졌고 나머지는 25% 미만 |
| Tow Center (2025년 3월 발표) | AI 검색 도구 8종에 뉴스 기사의 한 대목을 주고 기사 제목·날짜·언론사·URL을 찾게 함(도구당 200건, 총 1,600건) | 60% 넘게 틀림. 도구별로 Perplexity 37%에서 Grok-3 94%까지 편차가 컸고, 틀리면서도 확신에 찬 어조를 유지하는 경우가 많았음 |
EBU·BBC 연구에서 "출처 문제"의 기준은 "답변의 주장이 AI가 제시한 출처로 뒷받침되는가"였다. 링크가 가짜인지가 아니라, 링크가 있는데도 주장과 안 맞는지를 본 것이다. 같은 보고서 서문이 함께 인용한 BBC 별도 조사에서는 영국 성인의 3분의 1 조금 넘는 사람이 AI가 만든 요약의 정확성을 "완전히 신뢰한다"고 답했고, 35세 미만에서는 거의 절반이었다. 확인 안 하고 믿는 사람이 많은 만큼 이 격차가 실제 피해로 이어지기 쉽다(출처: EBU·BBC, News Integrity in AI Assistants 보고서, Nieman Lab의 Tow Center 연구 소개).
두 연구 모두 뉴스 질문을 다뤘고 2025년 상반기 시점의 서비스를 측정했다. Tow Center 과제("인용문에서 원출처를 역추적")는 일반 질문보다 어려운 특수 과제라 "AI 답변의 60%가 틀린다"로 읽으면 안 된다. 서비스는 계속 바뀌므로 비율 자체보다 "출처는 틀릴 수 있고, 틀려도 자신 있게 말한다"는 방향성이 요점이다.
④ 출처가 실패하는 4가지 방식
측정 결과와 실제 사용에서 나오는 실패를 네 가지로 묶으면 확인 방법도 같이 정리된다.
| 유형 | 어떤 일이 벌어지나 | 걸러내는 법 |
|---|---|---|
| ① 없는 링크 | 깨진 URL이나 만들어낸 주소를 붙인다. Tow Center 보고에서도 일부 도구가 이런 주소를 자주 만들어냈다고 한다 | 클릭 한 번. 가장 쉽게 걸린다 |
| ② 있지만 뒷받침 안 하는 링크 | 페이지는 실제로 열리는데 그 안에 해당 주장이 없거나, 숫자·결론이 다르다(EBU 연구가 센 "출처 문제"의 핵심) | 링크를 열어 해당 문장을 직접 찾는다 |
| ③ 원본이 아닌 복사본 | 원 기사가 아니라 재배포본·요약 블로그·인용 모음을 출처로 단다. 원 발행처가 아닌 곳이 붙으면 정정·갱신 여부를 알 수 없다 | "이 글이 처음 낸 곳은 어디인가"를 따라 1차 출처까지 올라간다 |
| ④ 낡았거나 날짜 없는 근거 | 사실이었던 정보가 지금은 아니거나, 작성일이 없어 언제 기준인지 알 수 없다. 순위용으로 쓴 글(SEO 글)이 근거로 올라오기도 한다 | 페이지의 게시일·수정일을 확인하고, 질문이 "지금 기준"이면 최신 자료인지 본다 |
①②는 링크를 열어보면 잡히지만 ③④는 링크가 정상이고 내용도 그럴듯해서 놓치기 쉽다. 특히 ③은 AI로 리서치하는 법의 "AI는 출처가 아니라 출처로 가는 안내판"이라는 원칙과 직결된다 — 안내판이 가리킨 곳이 도착지(1차 출처)인지 경유지(복사본)인지를 한 번 더 따져야 한다.
⑤ 60초 점검법
답변의 모든 링크를 열 필요는 없다. 시간을 쓸 곳은 틀리면 판단이 달라지는 주장이다 — 숫자, 인용문, 날짜, "A 때문에 B"라는 인과 주장. 이 네 가지에만 아래 다섯 단계를 적용한다.
- 링크를 연다. 열리지 않거나 전혀 다른 페이지면 거기서 끝이다(유형 ①).
- 주장의 핵심 단어를 Ctrl+F(맥은 ⌘F)로 찾는다. 숫자나 고유명사를 검색창에 넣어 그 문장이 페이지에 실제로 있는지 본다. 없으면 유형 ②다.
- 숫자·날짜·단위를 눈으로 대조한다. "12%"가 "1.2%"로, "분기"가 "연간"으로 바뀌는 건 흔하다.
- 1차 출처인지 판단한다. 이 페이지가 최초 발표 기관·원문인가, 아니면 그걸 옮긴 글인가. 옮긴 글이면 원문을 한 단계 더 따라간다(유형 ③).
- 게시일을 본다. 질문이 "지금"에 관한 것이면 최신 자료여야 한다(유형 ④).
프롬프트로 이 작업을 조금 줄일 수는 있다.
"각 주장마다 근거가 된 문장을 출처 페이지에서 따옴표로 그대로 인용하고 URL을 함께 적어줘. 원문에서 그대로 찾지 못한 주장은 '근거 문장 확인 못 함'이라고 따로 표시해줘."
이 프롬프트는 확인할 자리를 좁혀주지, 확인을 대신하지 않는다. AI가 따옴표 안에 적은 문장도 원문에 없을 수 있으므로, 따옴표 속 문장을 그대로 복사해 2단계처럼 페이지에서 검색해보는 것까지가 한 세트다. 검색해서 나오면 인용이 맞고, 안 나오면 그 인용은 믿으면 안 된다.
⑥ 투자 정보에서는 어디까지 올라가야 하나
투자 판단에 쓰는 정보는 숫자 하나가 판단을 바꾸므로 출처 사다리를 끝까지 올라가는 것이 원칙이다. AI 요약이나 해설 글에서 멈추지 말고 아래처럼 발표한 곳까지 간다.
| 확인할 정보 | 끝까지 올라갈 곳(1차 출처) | AI 요약만 믿으면 |
|---|---|---|
| 기업 실적·가이던스 | 기업 IR 보도자료, 분기보고서(미국은 SEC 공시) | 매출·이익 숫자나 "예상 대비" 기준이 바뀌어 전달되기 쉽다 |
| 금리·점도표·연준 발언 | 연준 공식 성명·경제전망요약(SEP)·기자회견 전문 | 발언의 뉘앙스나 표결 내용이 해설 과정에서 달라진다 |
| 고용·물가 지표 | 발표 기관(미 노동통계국 등)의 보도자료 | 잠정치와 개정치, 전월 대비와 전년 대비가 섞인다 |
| 증권사 목표가·의견 | 리포트 원문, 또는 날짜가 표시된 컨센서스 데이터 | 몇 달 전 목표가가 최근 것처럼 전달되기도 한다 |
이 중 증권사 의견은 날짜(유형 ④)가 특히 자주 문제가 된다. 컨센서스와 개별 리포트가 어떻게 다르고 오래된 목표가가 왜 위험한지는 증권사 리포트 해독법에서, 발표 지표를 원문 기준으로 읽는 법은 경제지표 캘린더 완전 해석에서 다뤘다.
⑦ 실전 체크리스트
□ 이 답변에서 틀리면 판단이 달라지는 주장(숫자·인용·날짜·인과)을 골랐는가
□ 그 주장의 링크를 실제로 열어봤는가
□ 주장의 핵심 단어를 페이지에서 직접 검색해 해당 문장을 찾았는가
□ 숫자·날짜·단위가 원문과 정확히 같은가
□ 그 페이지가 최초 발표처(1차 출처)인가, 옮긴 글인가
□ 게시일이 질문의 기준 시점에 맞는가
□ 위 확인을 못 한 주장은 "AI 요약" 표시를 붙여 두고 판단 근거로 쓰지 않았는가
※ 본 글의 연구 수치는 2025년에 발표된 특정 조건(뉴스 관련 질문, 무료·소비자 버전, 해당 시점의 서비스)에서의 측정 결과이며 현재 서비스의 성능을 그대로 나타내지 않습니다. 투자 관련 예시는 정보를 확인하는 방법에 대한 설명이며 투자 권유가 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.