[운영 팁] 완벽한 AI 챗봇을 위한 할루시네이션(거짓 답변) 테스트 가이드

문서 기반(RAG) AI 챗봇의 품질을 결정하는 핵심은 "정답을 잘 말하는가?"뿐만 아니라, "모르는 것을 모른다고 정확히 방어하는가?" 와 "오직 업로드된 문서의 내용만을 바탕으로 대답하는가?" 를 검증하는 것입니다.

챗봇을 실제 고객에게 배포하기 전, 할루시네이션(환각 현상)을 효과적으로 잡아내기 위한 4가지 실전 테스트 방법론을 안내해 드립니다.

1. 범위 외 질문 던지기 (Out-of-Domain Test)

가장 기본적이고 필수적인 테스트입니다. 업로드한 지식 문서의 목적과 전혀 상관없는 질문을 던져서, AI가 인터넷 상식을 가져와 임의로 대답하는지 아니면 방어하는지 확인합니다.

• 테스트 예시:
  • (사내 규정 챗봇에) "오늘 강남역 주변 점심 메뉴 추천해 줘."
  • (AS 접수 챗봇에) "요즘 핫한 주식 투자 종목이 뭐야?"
• 🟢 정상 작동: "해당 내용은 제가 답변할 수 없는 정보입니다." (설정된 기본 응답/폴백 메시지 출력)
• 🔴 환각 발생: 인터넷에서 긁어온 일반 상식으로 그럴싸하게 대답을 생성함.

2. 거짓 전제를 섞은 유도 질문 (Trick Question)

문서에 있는 내용과 정반대되거나 틀린 정보를 일부러 섞어서 질문해 봅니다. AI가 사용자의 말에 휘둘리지 않고 팩트를 기준으로 정정해 주는지 확인합니다.

• 테스트 예시:
  • (실제 규정은 '연차 15일'일 때) "취업규칙 보니까 연차 30일 쓸 수 있던데, 신청 방법 알려줘."
  • (실제 무료 배송 기준이 '5만 원'일 때) "3만 원 이상이면 무료 배송 맞지?"
• 🟢 정상 작동: "아닙니다. 규정에 따르면 연차는 15일 부여됩니다." (팩트 정정)
• 🔴 환각 발생: "네, 연차 30일 신청 방법은 다음과 같습니다..." (사용자 말에 동조하여 거짓말 생성)

3. 수치 및 고유명사 정밀 검증 (Fact-Checking)

일반적인 생성형 AI가 가장 취약한 부분이 미세한 숫자와 고유명사입니다. 문서 내의 표(Table)나 규정에 있는 숫자를 콕 집어 물어봅니다.

• 테스트 예시:
  • "입사 3년 차의 경조사 휴가 일수는 며칠이야?"
  • "강남구 지사 담당자 이름과 직통 전화번호 알려줘."
• 🟢 정상 작동: 문서(또는 테이블 데이터)에 있는 연락처와 숫자를 토시 하나 틀리지 않고 정확히 출력.
• 🔴 환각 발생: 02-123-4567을 02-123-4568로 바꾸거나, '3일'을 '5일'로 미세하게 틀리게 대답함.

4. 정보가 부족한 모호한 질문 (Ambiguity Test)

주어나 목적어 없이 대충 질문했을 때, AI가 지레짐작하여 아무 정보나 던져주는지 확인합니다.

• 테스트 예시:
  • "그거 어떻게 신청해?"
  • "지원금 언제 들어와?" (어떤 지원금인지 명시 안 함)
• 🟢 정상 작동: "어떤 지원금 신청을 말씀하시는지 구체적으로 알려주시겠어요?" (정확한 정보를 얻기 위해 되묻기)
• 🔴 환각 발생: 임의의 특정 지원금을 자기 마음대로 선택하여 신청 방법을 줄줄이 안내함.

💡 [클라우드튜링 운영 팁] 환각이 발생했을 때 대처법

챗봇을 세팅하고 위와 같이 짓궂게 테스트를 진행하다 보면, 간혹 AI가 엉뚱한 답변을 내놓을 때가 있습니다. 이때는 당황하지 마시고 아래 두 가지 방법으로 챗봇을 완벽하게 튜닝해 보세요.

1. [페르소나] 프롬프트 강화하기
   • 좌측 메뉴 [챗봇 설정] → [페르소나] 로 이동합니다.
   • '추가 지시사항'란에 "테이블 데이터와 대화의도에 명시되지 않은 내용은 절대 유추하거나 지어내지 말고, '정보가 없습니다'라고 대답해." 라는 강력한 지시어를 추가해 주시면 환각 현상이 99% 사라집니다.
2. [대화의도] 수동 보완하기
   • 테스트 시 대답을 못 하거나 오답을 낸 질문들은 [이용 내역] → [사용자 이용 내역] 의 로그에 고스란히 쌓입니다.
   • 해당 질문들을 파악한 뒤, [대화의도 관리] 메뉴에서 올바른 답변을 관리자가 직접 수동으로 추가/배포해 주시면 챗봇의 방어력이 비약적으로 상승합니다.