챗GPT에게 “모르면 모른다고 말해 줘”라고 써도 틀린 답이 완전히 사라지지는 않습니다. 더 곤란한 점은 틀린 내용만 따로 표시되는 것이 아니라, 확인된 사실과 그럴듯한 추측이 한 문장 안에 자연스럽게 섞여 나온다는 것입니다.
그래서 이번에는 챗GPT가 절대로 틀리지 않게 만드는 프롬프트가 아니라, 어디까지가 사실이고 어디부터가 추론인지 사용자가 확인하기 쉽게 만드는 프롬프트를 만들어 봤습니다. 답변을 세 구역으로 나누는 간단한 방식인데, 자료 조사나 최신 정보 확인처럼 정확성이 중요한 질문에 특히 유용하답니다 :D
이 프롬프트는 특정 모델에만 맞춘 것은 아닙니다.
다만 사용하는 모델과 웹 검색 가능 여부, 질문의 종류에 따라 결과는 달라질 수 있다는 점 기억해주세요!
📌 이 글의 목차
1. [서론] 챗GPT 거짓말(환각)은 왜 생길까
흔히 챗GPT가 ‘거짓말한다’고 표현하지만, 사람처럼 사실을 알고도 일부러 속이는 것과는 조금 다릅니다. 이렇게 사실과 다른 내용을 자연스럽게 만들어 내는 현상을 보통 우리말로는 환각, 영어로는 할루시네이션(hallucination)이라고 부릅니다.
GPT의 할루시네이션을 조롱당는 밈 중 하나로 세종대왕 맥북사건이 있죠? ㅎㅎㅎ
챗GPT는 학습한 언어의 패턴을 바탕으로 답을 생성하기 때문에, 정보가 부족하거나 질문의 전제가 틀려도 빈칸을 그럴듯하게 채울 수 있기 때문에 이러한 할루시네이션이 나타나는건데요.
특히 다음과 같은 질문에서 오류를 조심해야 합니다.
- 최근에 바뀐 가격, 정책, 이용 한도
- 정확한 날짜나 통계 수치가 필요한 질문
- 잘 알려지지 않은 인물, 책, 논문에 관한 질문
- 질문 속에 잘못된 전제가 들어 있는 경우
- 출처나 페이지 번호를 정확히 요구하는 경우
문장이 자연스럽고 단정적이라고 해서 내용까지 확인된 것은 아닙니다. 결국 중요한 것은 ‘자신 있게 말하지 마’라고 부탁하는 데서 끝나는 것이 아니라, 답변 안에서 사실과 추론의 경계를 보이게 하는 것입니다.
2. “모르면 모른다고 해”만으로 부족한 이유
저도 예전에는 프롬프트 끝에 “모르면 모른다고 말해 줘”라는 문장을 자주 붙였습니다.
지금도 아무 조건 없이 질문하는 것보다는 훨~씬 낫습니다. 하지만 이 한 문장에는 애매한 부분이 있습니다. 챗GPT가 무엇을 알고 무엇을 모르는지 스스로 정확하게 판단한다는 보장이 없기 때문입니다.
“반드시 출처를 써 줘”라는 지시도 마찬가지입니다.
웹 검색을 하지 않은 상태에서 출처를 요구하면 실제로 확인한 자료가 아니라, 존재할 법한 자료명이나 링크를 만들어 낼 가능성까지 생깁니다. 출처의 개수보다 중요한 것은 그 출처를 실제로 확인했는지입니다.
따라서 프롬프트에는 다음 세 가지 기준이 함께 들어가는 편이 좋습니다.
- 확인한 정보와 추론한 내용을 구분할 것
- 실제로 열어 보지 않은 출처는 만들지 말 것
- 최신 정보나 근거가 부족한 내용은 추가 확인 대상으로 남길 것
3. 챗GPT 거짓말 줄이는 프롬프트
아래 프롬프트를 복사한 뒤 마지막에 질문만 넣으면 됩니다.
아래 질문에 답할 때, 확실하지 않은 내용을 그럴듯하게 채우지 말고 다음 기준을 지켜 줘.
[답변 원칙]
- 답변에 포함된 정보를 ‘확인된 사실’, ‘추론·해석’, ‘추가 확인 필요’로 구분해 줘.
- ‘확인된 사실’에는 내가 제공한 자료나 네가 실제로 확인한 출처에서 근거를 찾을 수 있는 내용만 넣어 줘.
- 사실을 바탕으로 도출했지만 자료에 직접 적혀 있지 않은 내용은 ‘추론·해석’으로 표시해 줘. 어떤 사실을 근거로 추론했는지도 함께 설명해 줘.
- 근거가 부족하거나, 최신 정보가 필요하거나, 질문이 모호한 부분은 ‘추가 확인 필요’로 표시해 줘.
- 웹 검색을 사용할 수 있다면 최신 정보는 검색 후 답하고, 기준 날짜와 실제로 확인한 출처 링크를 남겨 줘.
- 웹 검색을 사용하지 않았거나 출처를 직접 확인하지 못했다면 검색한 것처럼 말하지 말고, 출처명·논문명·링크를 만들어 내지 마.
- 질문에 잘못된 전제가 들어 있다면 그대로 받아들이지 말고 먼저 지적해 줘.
- 정확히 알 수 없는 내용은 ‘확인할 수 없음’이라고 솔직하게 말해 줘.
[답변 형식]
- 먼저 질문에 대한 핵심 답을 짧게 설명해 줘.
- 이어서 ‘확인된 사실 / 추론·해석 / 추가 확인 필요’ 순서로 정리해 줘.
- 마지막에는 사용자가 직접 확인해야 할 항목을 ‘검증 메모’로 1~3개 적어 줘.
질문: [여기에 질문 입력]
핵심은 답변을 무조건 짧게 만들거나 말을 조심스럽게 바꾸는 데 있지 않습니다.
어떤 문장이 근거에 기대고 있고, 어떤 문장이 AI의 해석인지 표시하게 만드는 데 있습니다. 답변이 조금 길어지더라도 검증은 훨씬 쉬워집니다! 그리고 이 프롬프트가 공식은 아니니까 여러번 테스트 해보시고 최적화된 문장으로 만들어서 사용하시길 추천드립니다 :)
4. 답변을 받은 뒤 확인할 세 가지
위의 프롬프트를 적용했더라도 아래의 세 가지는 직접 확인할 것을 추천드립니다.
1) 링크가 실제 주장과 연결되는가
출처가 있다고 해서 검증이 끝난 것은 아닙니다. 링크가 열리는지, 해당 페이지에 답변의 근거가 실제로 적혀 있는지 확인해야 합니다. 기관 이름만 같고 내용은 전혀 다른 페이지가 연결될 수도 있습니다.
2) 기준 날짜와 적용 대상이 맞는가
가격과 이용 한도는 무료·유료 계정, 국가, 앱 버전, 행사 기간에 따라 달라질 수 있습니다. 숫자 하나만 보지 말고 언제, 누구에게 적용되는 정보인지 함께 확인해야 합니다.
3) ‘추론’이 어느 순간 ‘사실’로 바뀌지 않았는가
처음에는 가능성으로 설명한 내용이 결론에서 확정된 사실처럼 바뀌는 경우가 있습니다. 특히 원인 분석이나 미래 전망에서는 마지막 문장까지 표현이 일관적인지 보는 것이 좋습니다.
5. [결론] 이 프롬프트를 사용할 때 기억할 점
제가 추천해드린 프롬프트를 사용한다고 해서 챗GPT의 오류가 완전히 사라지는 것은 아닙니다.
챗GPT가 ‘확인된 사실’로 분류한 내용도 잘못되었을 수 있고, 실제 출처와 맞지 않는 답이 포함될 수도 있습니다.
그래도 사실과 추론, 추가 확인이 필요한 정보를 나눠 받으면 어느 부분을 먼저 검증해야 하는지는 훨씬 분명해집니다. 간단한 아이디어를 얻거나 창의적인 글을 쓸 때마다 사용할 필요는 없지만, 자료 조사나 최신 정보 확인처럼 정확성이 중요한 질문에는 꽤 유용한 방식이랍니다!
결국 챗GPT의 거짓말을 줄이는 가장 현실적인 방법은 AI가 절대로 틀리지 않게 만드는 것이 아니라, 사실과 추론의 경계를 드러내고 사람이 마지막 확인을 맡는 것이 아닐까요?!