AI 환각을 줄이는 프롬프트 작성법과 검증 프롬프트 예시

생성형 AI는 가끔 존재하지 않는 논문을 인용하거나, 틀린 숫자를 아주 자신 있게 말합니다. 이런 현상을 흔히 ‘환각(hallucination)’이라고 부릅니다. 환각을 완전히 없앨 수는 없지만, 프롬프트를 어떻게 쓰느냐에 따라 상당히 줄일 수 있고, 잘못된 부분을 찾아내기도 쉬워집니다.

AI는 왜 그럴듯한 거짓말을 할까

대규모 언어 모델은 사실을 검색해서 답하는 것이 아니라, 앞에 나온 글 다음에 올 법한 말을 이어서 만들어 냅니다. 그래서 정확한 정보를 모르는 상황에서도 문장 자체는 자연스럽게 만들어 낼 수 있습니다. 특히 다음과 같은 질문에서 환각이 자주 생깁니다.

• 최신 정보나 아주 좁은 분야의 정보를 묻는 경우
• 정확한 숫자, 날짜, 출처, 인용문을 요구하는 경우
• 질문 자체에 잘못된 전제가 들어 있는 경우(예: “○○가 2019년에 받은 상은?”인데 실제로는 받은 적이 없음)

환각을 줄이는 프롬프트 작성법 5가지

1. 모르면 모른다고 말하게 하기

AI는 기본적으로 어떻게든 답을 하려고 합니다. 프롬프트에 “확실하지 않은 내용은 추측하지 말고 ‘확실하지 않음’이라고 표시해 줘”라고 적어 두면, 지어낸 답 대신 모른다는 답을 받을 수 있습니다.

2. 근거가 되는 자료를 직접 주기

AI의 기억에 의존하지 말고 보고서, 기사, 회의록 같은 원문을 붙여 넣은 뒤 “아래 자료에 있는 내용만 사용해서 답해 줘”라고 범위를 정해 주세요. 답의 근거가 눈앞의 자료로 한정되기 때문에 지어낼 여지가 크게 줄어듭니다.

3. 출처와 근거를 함께 적게 하기

“각 주장마다 근거가 된 문장을 원문에서 그대로 인용해 줘”라고 요청하면, 근거 없이 만든 주장이 바로 드러납니다. 인용한 문장이 원문에 실제로 있는지만 확인하면 됩니다.

4. 질문의 전제를 점검하게 하기

“답하기 전에 질문의 전제가 사실인지 먼저 확인해 줘”라고 덧붙이면, 잘못된 전제를 그대로 받아들여 답을 지어내는 일을 줄일 수 있습니다.

5. 한 번에 너무 많이 묻지 않기

여러 질문을 한꺼번에 던지면 각 답의 정확도가 떨어지기 쉽습니다. 중요한 내용일수록 질문을 나누어 하나씩 확인하세요.

결과를 다시 점검하는 검증 프롬프트

답을 받은 뒤에는 같은 AI에게 스스로 점검하게 하는 것도 효과가 있습니다. 새 대화창에서 결과물을 붙여 넣고 다음과 같이 요청해 보세요.

아래 글을 사실 확인 담당자의 입장에서 검토해 줘.
1. 사실 관계를 주장하는 문장을 모두 찾아 목록으로 정리해 줘.
2. 각 문장이 확실한지, 확인이 필요한지, 틀렸을 가능성이 있는지 표시해 줘.
3. 확인이 필요한 문장은 무엇을 어디서 확인하면 되는지 알려 줘.
4. 확실하지 않은 내용은 추측해서 고치지 말고 ‘확인 필요’로 남겨 줘.

[검토할 글]
(여기에 붙여 넣기)

이 방법도 완벽하지는 않습니다. 같은 모델이 같은 실수를 반복할 수 있기 때문입니다. 그래서 숫자, 날짜, 법령, 의학 정보처럼 틀리면 곤란한 내용은 공식 자료나 원문에서 직접 확인하는 습관이 가장 중요합니다.

정리

• 모르면 모른다고 답하게 한다.
• 근거 자료를 주고 그 안에서만 답하게 한다.
• 주장마다 근거를 인용하게 한다.
• 결과물은 검증 프롬프트로 한 번 더 점검하고, 중요한 내용은 직접 확인한다.

AI 프롬프트 빌더의 ‘디벨롭·검증’ 기능에는 이런 점검 조건이 선택 항목으로 들어 있어서, 원본 내용을 붙여 넣고 조건을 고르면 검증 프롬프트를 바로 만들 수 있습니다.