AI에게 낯선 개념을 물었을 때보다 이미 아는 분야를 물었을 때 더 당황하는 순간이 있습니다. 설명의 흐름은 자연스럽고 전문용어도 적절한데, 정작 중요한 인물이나 날짜가 틀려 있기 때문입니다. 출처를 요청하면 그럴듯한 논문 제목까지 제시하지만, 실제로 찾아보면 존재하지 않는 경우도 있습니다.
이런 오류를 흔히 ‘환각’, 영어로는 할루시네이션이라고 부릅니다. 사람이 무언가를 잘못 보거나 듣는다는 뜻을 그대로 적용한 표현은 아닙니다. 여기서는 언어모델이 사실이나 주어진 자료에 맞지 않는 내용을 그럴듯한 답변으로 생성하는 현상을 가리킵니다. 왜 틀리는지만큼 중요한 질문은, 틀린 답변도 왜 맞는 답변과 비슷한 목소리로 나오는가입니다.
답변은 완성된 정답을 꺼내는 방식으로만 만들어지지 않는다
대화형 AI의 바탕이 되는 대규모 언어모델은 방대한 텍스트를 학습하며 언어의 패턴과 개념 사이의 관계를 익힙니다. 널리 쓰이는 생성 방식에서는 질문과 앞선 대화, 제공된 자료를 바탕으로 다음에 이어질 텍스트 조각을 계산하고, 이를 이어 붙여 답변을 만듭니다. 이때 처리하는 기본 단위를 ‘토큰’이라고 합니다. 토큰은 단어 하나일 수도 있고, 단어의 일부나 문장부호일 수도 있습니다.
예를 들어 “비가 오면 길이”라는 표현 뒤에는 여러 말이 이어질 수 있습니다. 모델은 문맥에 따라 어떤 표현이 적절한지 계산합니다. 실제 답변에서는 이보다 훨씬 긴 문맥과 복잡한 관계가 작용하지만, 앞선 정보를 바탕으로 다음 표현을 생성한다는 기본 원리는 같습니다.
그렇다고 언어모델이 의미 없이 단어만 잇는다는 뜻은 아닙니다. 학습을 통해 얻은 관계를 활용해 개념을 설명하고, 서로 다른 조건을 비교하며, 문제 해결에 필요한 추론도 수행할 수 있습니다. 다만 문맥에 적절한 답변을 만드는 능력과 그 안의 모든 사실을 원문으로 확인하는 능력은 구분해야 합니다. 검색이나 별도의 검증 도구가 연결되지 않았다면, 답변의 각 문장이 외부 기록과 일치하는지 자동으로 대조했다고 볼 수는 없습니다.
날짜 하나는 문장의 패턴만으로 알아낼 수 없다
다음 상황은 원리를 설명하기 위한 가상의 예입니다. 어느 지역에서 열린 작은 전시회의 개막일을 AI에게 물었다고 합시다. 전시회의 성격과 개최 장소에 관해서는 알려진 정보가 있지만, 정확한 개막일을 확인할 자료는 주어지지 않았습니다. 이때 모델이 익숙한 행사 소개 형식에 맞춰 날짜를 채워 넣으면, 문장은 자연스러워도 답은 틀릴 수 있습니다.
행사 개막일이나 개인의 생일처럼 개별 기록에 달린 사실은 일반적인 규칙만으로 복원하기 어렵습니다. 특정 날짜의 표현 형식을 잘 안다는 것과 그 날짜가 실제 기록과 일치한다는 것은 다른 문제입니다. 문법에 맞는 날짜를 만드는 데 성공해도 사실 확인에는 실패할 수 있습니다.
OpenAI 연구진은 2025년 발표한 연구에서 이런 문제를 사전학습의 특성과 연결해 분석했습니다. 언어의 반복적인 패턴은 학습할 수 있어도, 드물게 등장하고 규칙성이 약한 사실은 패턴만으로 정확히 예측하기 어렵다는 것입니다. 이는 오류의 한 가지 중요한 설명이며, 모든 오류가 정보 부족 하나에서 생긴다는 뜻은 아닙니다.
질문의 조건을 잘못 연결하거나, 비슷한 이름의 대상을 혼동하거나, 제공된 자료를 잘못 해석해도 틀릴 수 있습니다. 관련 정보가 모델 내부에 어느 정도 반영되어 있어도 올바른 답으로 나오지 않을 수 있다는 연구도 있습니다. 따라서 “자료를 더 많이 학습시키면 모든 문제가 사라진다”는 설명으로는 충분하지 않습니다.
틀린 정보에도 익숙한 설명 형식이 붙는다
독자가 오류를 알아차리기 어려운 이유는 틀린 부분이 항상 어색하게 드러나지는 않기 때문입니다. AI는 내용을 설명하는 방식도 학습합니다. 어떤 주제를 소개한 뒤 배경을 설명하고 사례를 붙이는 문장 구조는 사실이 정확할 때도, 일부가 틀렸을 때도 사용할 수 있습니다.
논문 제목과 저자명, 연도, 학술지명이 함께 제시되면 독자는 이미 확인된 자료라고 받아들이기 쉽습니다. 그러나 이런 형식의 텍스트를 생성했다는 사실만으로 실제 논문을 찾아 읽었다고 볼 수는 없습니다. 링크 역시 마찬가지입니다. 주소가 그럴듯한지, 실제로 열리는지, 열린 자료가 해당 주장을 뒷받침하는지는 각각 확인해야 합니다.
단정적인 말투도 정확성의 증거가 되지 않습니다. 같은 문장 안에서 널리 알려진 사실은 맞고, 그 옆에 붙은 인물의 직책이나 발표 연도는 틀릴 수 있습니다. 답변 전체의 인상만으로 신뢰 여부를 결정하면 이런 작은 오류가 통과하기 쉽습니다.
‘모른다’고 답하도록 만드는 일도 기술의 일부다
그렇다면 불확실할 때 답변을 멈추도록 만들면 되지 않을까요. 실제로 모델 개발에서는 지시를 따르고, 불확실성을 표현하며, 근거가 부족한 질문에 조심스럽게 답하도록 추가 학습을 진행합니다. 문제는 어떤 질문에 얼마나 확신해도 되는지 판단하는 일 자체가 어렵다는 데 있습니다.
평가 방식도 영향을 줍니다. 앞서 언급한 OpenAI 연구는 정답에만 점수를 주고 오답과 답변 유보를 모두 같은 실패로 취급하면, 불확실할 때 추측하는 쪽이 평가에서 유리해질 수 있다고 지적합니다. 이때 필요한 것은 맞힌 답의 비율뿐 아니라 틀린 답과 적절한 유보를 구분해 살피는 일입니다.
사용자에게도 이 차이는 중요합니다. 확인할 수 없는 날짜를 정확한 듯 알려주는 답변보다, 날짜는 확인하지 못했지만 개최 장소까지는 근거가 있다고 구분하는 답변이 후속 작업에 더 도움이 될 수 있습니다. 신뢰할 수 있는 AI를 만들려면 답변의 양과 유창함뿐 아니라, 근거가 없는 부분을 어디에서 멈추는지도 평가해야 합니다.
검색을 붙이면 달라지지만, 확인할 단계도 남는다
외부 자료를 찾아 답변에 활용하면 모델이 학습한 정보에만 의존할 때의 한계를 줄일 수 있습니다. 관련 문서의 일부를 찾아 질문과 함께 모델에 제공하는 방법을 ‘검색 증강 생성’, 줄여서 RAG라고 합니다. 웹 검색을 사용하는 AI 서비스도 외부 정보를 가져와 답변에 활용할 수 있지만, 서비스마다 검색과 자료 처리 방식은 다릅니다.
외부 자료를 제공해도 문제가 끝나는 것은 아닙니다. 검색에서 엉뚱한 문서를 찾을 수 있고, 필요한 문장을 찾았더라도 앞뒤 조건이 빠질 수 있습니다. 자료를 올바르게 가져왔는데 답변을 만드는 과정에서 적용 범위를 넓혀버리는 경우도 생각할 수 있습니다.
예컨대 어떤 안내문에 “일부 지점에서 시범 운영한다”고 적혀 있다면, 이를 “전 지점에서 이용할 수 있다”고 요약해서는 안 됩니다. 핵심은 관련 단어가 들어 있는 자료를 찾는 데 그치지 않고 대상·시점·조건을 함께 보존하는 것입니다. Anthropic의 검색 증강 생성 관련 기술 자료도 문서를 잘게 나누는 과정에서 이런 맥락이 사라질 수 있다는 문제를 설명합니다.
따라서 출처가 표시된 답변을 읽을 때는 링크의 개수보다 그 자료가 바로 옆의 주장을 실제로 뒷받침하는지를 살펴야 합니다. 검색 기능은 확인에 필요한 자료를 가져오는 수단이며, 최종 답변의 정확성은 자료 선택과 해석까지 함께 검토해야 판단할 수 있습니다.
같은 질문을 다시 한다고 독립적인 검증이 되지는 않는다
틀린 답변이 의심스러울 때 “확실한가요?”라고 다시 묻는 것은 재검토의 계기가 될 수 있습니다. 그러나 새로운 자료 없이 같은 모델이 비슷한 설명을 반복했다고 해서 사실이 입증되지는 않습니다. 답변이 달라졌더라도 두 번째 답이 맞는지는 여전히 확인해야 합니다.
이 글의 원리에서 도출할 수 있는 활용 방법은 질문의 범위를 더 분명하게 만드는 것입니다. 행사 정보를 확인한다면 행사명과 지역, 연도를 명시하고, 일정이 확정된 발표와 예상·계획을 구분하도록 요청할 수 있습니다. “틀리지 말라”는 요구에 더해 무엇을 근거로 판단해야 하는지 알려주는 셈입니다.
검증할 때는 답변의 핵심 주장을 나누어 살피는 편이 도움이 됩니다. 인물과 기관의 이름, 날짜와 숫자, 직접 인용한 문장, 특정 기능의 지원 여부를 각각 원문과 대조하는 것입니다. 제공한 자료만을 근거로 요약하게 할 때는 자료에 없는 내용을 추정으로 덧붙였는지도 확인해야 합니다.
유창한 답변에서 근거를 따라갈 수 있는 답변으로
언어모델은 낯선 주제의 개요를 잡고, 복잡한 설명을 풀고, 글의 구조를 정리하는 데 유용할 수 있습니다. 동시에 자연스러운 문장을 생성하는 능력 때문에 오류가 매끄럽게 전달될 수도 있습니다. 장점과 한계가 같은 답변 안에 함께 나타나는 것입니다.
그래서 AI를 사용할 때 필요한 기준은 답변이 얼마나 자신 있어 보이는가보다, 확인된 내용과 추정이 구분되어 있는가입니다. 근거가 있는 부분은 어디까지이며, 어떤 자료를 보면 확인할 수 있고, 무엇이 아직 남아 있는지 드러나야 합니다. AI가 모르는 것도 그럴듯하게 답하는 이유를 이해하는 일은, 그 답변에서 확인해야 할 부분을 찾아내는 출발점이 됩니다.
출처 · Google, 대규모 언어모델 해설 · OpenAI, Why language models hallucinate · Google Research, 언어모델의 오류와 내부 표현 연구 · Anthropic, Contextual Retrieval · NIST, 생성형 AI 위험관리 프로파일
답글 남기기