AI는 왜 그럴듯한 거짓말을 할까: 환각의 원인과 검증 경계

AI가 제시한 논문 제목을 검색했는데 같은 이름의 논문이 없거나, 보고서의 숫자는 맞게 옮겼는데 증가율이 틀린 경우가 있습니다. 답변의 문장과 형식이 자연스러우면 오류가 있는 대목도 함께 믿기 쉽습니다. Kalai 등의 환각 원인 연구는 이런 그럴듯한 오답을 학습과 평가의 통계적 문제로 설명합니다.

답변을 믿을 범위는 문체에서 정할 수 없습니다. 어떤 자료를 썼는지, 그 자료가 실제 주장을 뒷받침하는지, 답이 틀렸을 때 어떤 일이 생기는지에 따라 달라집니다.

문장을 잘 잇는 능력과 사실을 확인하는 능력

언어 모델은 학습 자료에서 익힌 관계와 입력 문맥을 바탕으로 응답을 생성합니다. 학습한 사실을 정확하게 답할 때도 있지만, 원문을 조회해 진위를 확인하는 절차가 매 문장에 자동으로 따라붙지는 않습니다. 인물의 이름과 연구 분야를 잘 연결하면서도 그 인물의 논문 제목이나 발표 연도를 잘못 조합할 수 있습니다.

환각 원인 논문은 오류가 없는 학습 자료를 가정해도, 그 자료에서 언어의 분포를 배우는 목적만으로는 생성 오류가 없어지지 않는다고 분석합니다. 드물게 등장하는 임의의 사실처럼 다른 패턴으로 추론하기 어려운 정보에는 별도의 불확실성이 남습니다. 이는 논문의 이론적 분석이며 개별 서비스의 오류율을 측정한 수치는 아닙니다.

후속 학습은 불확실한 답을 줄이고 답변을 보류하도록 만들 수 있습니다. 다만 정답에는 점수를 주고 오답과 “모릅니다”에는 똑같이 점수를 주지 않는 평가에서는, 모르는 문제도 추측하는 쪽이 점수를 얻을 기회가 생깁니다. 같은 논문은 이런 평가 유인이 과도하게 확신하는 답변을 남기는 한 원인이라고 설명합니다.

답변의 자신감과 사실의 정확성은 따로 판단할 대상입니다. 자세한 설명, 전문적인 말투, 흔들리지 않는 결론만으로 그 문장이 확인됐는지 알 수 없습니다. 반대로 짧게 답하거나 조심스럽게 말한다는 이유만으로 정확하다고 판정할 수도 없습니다.

정보가 없을 때와 있는 정보를 잘못 쓸 때

정보 부족은 가장 알아보기 쉬운 경우입니다. 공개되지 않은 내부 결정, 질문에 없는 계약 조건, 새로 바뀐 규정을 답하려면 추가 자료가 필요합니다. 빈칸이 남은 상태에서 구체적인 이름이나 날짜를 채워 넣으면 확인되지 않은 내용이 완성된 사실처럼 보입니다.

질문의 전제가 잘못된 경우도 있습니다. “그 회사가 서비스를 종료한 이유를 설명해 달라”는 요청에는 종료가 있었다는 전제가 들어 있습니다. 먼저 사건의 존재를 확인하지 않으면, 그럴듯한 이유를 만드는 방향으로 답이 이어질 수 있습니다. 사용자 믿음에 대한 동조 연구는 연구 대상 AI 응답에서 진실성보다 사용자 견해에 맞추는 현상을 관찰했습니다. 이 결과는 질문에 강한 확신을 넣는 일이 사실 확인을 대신하지 못한다는 근거가 됩니다.

자료를 제공한 뒤에도 오류는 남습니다. 예외 조항을 놓치거나, 다른 기간의 수치를 붙이거나, 한 부서의 관찰을 회사 전체의 결과로 넓힐 수 있습니다. Lost in the Middle 연구에서는 문서 질의응답 등의 과제에서 관련 정보의 위치를 바꾸자 성능이 달라졌습니다. 당시 모델과 과제의 관찰이지만, 긴 자료를 입력했다는 사실과 필요한 근거를 제대로 사용했다는 사실이 다르다는 점을 보여 줍니다.

오류가 확인되면 필요한 조치도 달라집니다. 없는 정보에는 자료 확보나 답변 보류가 필요하고, 잘못된 전제에는 질문 수정이 필요합니다. 자료 해석이 문제라면 해당 문장과 예외를 다시 읽는 편이 원인에 맞습니다. 세 경우를 모두 “프롬프트를 더 자세히 쓴다”로 처리하면 빠진 근거가 그대로 남을 수 있습니다.

같은 주장을 원문과 계산에 나누어 대조하기

다음은 판단 경계를 설명하기 위한 가상 예시입니다. 회사 기록과 초안 문장은 설명용으로 만들었으며 실제 회사의 보고서, 검색 결과, 특정 모델의 출력이 아닙니다. 가상의 기록에는 전월 유료 사용자 80명, 당월 100명이 적혀 있고 만족도 자료는 없다고 정합니다.