AI 환각을 줄이는 5가지 프롬프트 체크리스트: QA 엔지니어처럼 질문하기

AI는 놀라운 속도로 성장하며 우리 삶을 바꾸고 있습니다. 하지만 AI를 사용하다 보면 '환각(Hallucination)'이라는 예상치 못한 문제에 부딪히곤 합니다. AI가 그럴듯하게 들리는 거짓 정보를 사실인 것처럼 말하는 현상이죠. 

마치 소프트웨어의 버그같지만, 지속적으로 오답을 출력하는 경우에는 기만당했다 라는 생각까지도 하게 됩니다. 하지만, AI 가 일부러 사용자를 골탕먹이려고 오답을 출력하지는 않습니다.

환각은 AI 의 현상인 것을 정확히 알고 AI로 부터 정확한 답변을 이끌어 내는 것은 우리의 몫이지요.  제품의 오류를 찾아내고 품질을 보증하는 QA(Quality Assurance) 엔지니어의처럼 AI의 답변을 검증하고 '버그'를 줄이는 방법을 습득하면 이런 현상을 줄일 수 있습니다.


오늘은 AI의 환각을 줄일 수 있는 5가지 프롬프트 체크리스트를 공유합니다.



1. 근거를 명확히 요청


AI는 수많은 데이터를 학습했지만, 그 정보의 출처를 정확히 기억하지 못합니다. 따라서 AI가 제공하는 정보에 대해 근거를 명확히 요청하는 것이 가장 확실한 방법입니다.

  • 예시 프롬프트: "애플의 Vision Pro 제품에 대한 리뷰를 작성해줘. 이때, 반드시 CNN, The Verge, New York Times와 같은 신뢰할 수 있는 매체 2곳 이상의 내용을 참고하고, 각 정보의 출처를 각주로 명시해줘."


2. 단계별 질문


한 번에 모든 것을 묻는 것보다는, 문제를 작은 단계로 나누어 질문하는 것이 좋습니다. 복잡한 문제를 단순화하면 AI의 사고 과정이 명확해지고, 환각이 발생할 가능성이 줄어듭니다.

  • "2025년 삼성의 주식 가격이 얼마가 될지 알려줘."

환각 발생 가능성: AI는 미래의 주식 가격을 예측할 수 없습니다. 하지만 그럴듯한 숫자를 만들어내서 답할 확률이 높습니다.

  • 단계별 프롬프트 (환각 방지):
1단계: "삼성전자의 지난 1년간 주식 가격 변동 추이를 알려줘."
2단계: "삼성전자의 2025년 3분기 실적 발표 예상치를 분석해줘."
3단계: "위의 정보를 바탕으로, 전문가들이 예측하는 삼성전자의 향후 주가 전망에 대해 설명해줘."

이처럼 데이터가 불확실한 질문을 하기보다, AI가 가진 지식을 활용하여 '예측'이나 '분석'을 요구하는 방식으로 질문을 나누면 환각을 효과적으로 줄일 수 있습니다.


3. '네'라고 답하게 하지 말고, '설명'을 요구


'네 / 아니오'로 답할 수 있는 질문은 AI의 단순한 암기력에 의존하게 합니다. 대신 과정이나 이유를 설명해달라고 요청하면 AI는 더 깊이 있는 사고를 거쳐 답변을 생성하게 됩니다.

  • 나쁜 프롬프트: "전자파가 인체에 해로운가요?"
  • 좋은 프롬프트: "전자파가 인체에 미치는 영향을 설명해줘. 이와 관련된 과학적 연구 결과와 전문가들의 견해를 함께 제시해줘."


4. '역정보 교차 확인’의 습관화


QA 엔지니어가 한 가지 기능을 여러 방식으로 테스트하듯, AI의 답변도 다른 관점에서 다시 질문하여 검증해야 합니다. 동일한 질문을 다른 방식으로 반복하거나, AI의 답변에 반대되는 가정을 하고 질문해 보세요.

  • 예시 프롬프트:
1차 질문: "최근 생성형 AI 기술에서 가장 주목할 만한 트렌드 3가지는 뭐야?" 
2차 질문: "방금 네가 말한 트렌드 외에, 2025년 3분기 생성형 AI 시장에서 놓쳐서는 안 될 트렌드는 또 뭐가 있을까?"


5. '부정적 질문'을 사용


AI는 긍정적인 정보에 더 많은 가중치를 두는 경향이 있습니다. 때로는 AI에게 '~이 아닌 것은 무엇인가?'와 같은 부정적 질문을 던져보면, AI가 놓쳤던 부분을 보완하거나 더 넓은 시야를 제공할 수 있습니다.

  • 예시 프롬프트:
"최신 AI 스마트폰이 기존 스마트폰보다 못한 점은 무엇인가? 배터리 소모량이나, 가격 등 약점에 대해 정확하게 설명해줘."



AI는 우리를 돕는 강력한 도구이지만, 최종적인 책임은 사용자인 우리에게 있습니다.

대부분의 AI 모델에 적용되는 내용입니다. 위 5가지 체크리스트를 활용해서 AI의 답변을 꼼꼼히 검증하고, AI를 더 신뢰할 수 있는 파트너로 만들어 보세요.



댓글 쓰기

다음 이전