AI 답변 아래에 문서 이름이 붙어 있다고 가정해 보겠습니다. 그 문서를 실제로 열었을 때 답변과 같은 말이 적혀 있어야 하고, 질문한 상황에도 적용돼야 합니다. 출처의 존재와 답변의 타당성은 따로 확인할 문제입니다. 이 노트는 답변을 검토할 수 있는 연결이 무엇인지 살펴봅니다.
예시: 규정은 맞게 찾았지만 질문에는 맞지 않는 답
다음 규정과 답변은 설명을 위한 가상 예시입니다.
질문: “올해 신규 신청자는 교육 이수 전에 장비 사용을 신청할 수 있나요?”
| 가상 자료 | 원문 내용 |
|---|---|
| 이전 운영 안내 | 교육 이수 전에도 장비 사용 신청을 접수할 수 있습니다. |
| 올해 개정 규정 | 신규 신청자는 교육 이수를 마친 뒤 장비 사용을 신청합니다. 기존 이용자의 갱신은 별도 기준을 따릅니다. |
답변이 “교육 전에 신청할 수 있습니다”라고 하면서 이전 운영 안내를 인용했다면, 인용 문장 자체는 일치해도 올해 신규 신청자의 질문에는 맞지 않습니다. 답변 과정 추적에서 필요한 정보는 자료의 이름뿐 아니라 적용 연도와 대상, 현재 규정과 다른 이유입니다.
검토의 단위는 문서가 아니라 답변의 주장입니다
주장과 원문을 연결하기
“신청할 수 있다”는 문장을 검토하려면 신청 자격과 시점이 적힌 원문을 찾아야 합니다. 관련 문서 전체를 나열하는 것만으로는 어느 문장이 이 결론을 뒷받침하는지 알기 어렵습니다. 문서 위치를 표시하더라도 실제 해당 내용이 있는지 확인해야 합니다.
적용 조건과 예외를 남기기
위 예시에서는 신규 신청자와 기존 이용자가 구분됩니다. 한 문단의 일부만 가져오면서 이 조건을 빠뜨리면 답의 의미가 달라집니다. 여러 자료가 충돌할 때는 어떤 자료를 기준으로 봐야 하는지 담당자가 판단할 수 있도록 출처와 시점을 함께 검토합니다.
근거가 부족하면 확인 과제로 구분하기
올해 규정을 찾지 못했다면 과거 규정으로 현재의 답을 확정할 수 없습니다. “현재 적용 규정 확인 필요”처럼 남겨 담당자가 확인할 부분을 분명히 하는 편이 좋습니다. 자료에 직접 적힌 내용과 답변에서 덧붙인 해석도 구분해야 합니다.
추적 화면에서 보고 싶은 것과 볼 필요가 없는 것
사용자에게 필요한 것은 “어떤 자료를 확인하면 이 답을 검토할 수 있는가”입니다. 문서·인용 위치, 적용 조건과 서로 충돌하는 근거를 확인할 수 있으면 검토를 돕습니다. 반면 단계 이름을 많이 보여주거나 AI의 내부 사고를 설명하는 문구만으로 답변의 정확성을 확인할 수는 없습니다.
권한 경계도 같은 검토에 포함합니다. 본문을 숨겼더라도 제한 문서의 제목이나 프로젝트명이 표시되면 이용자에게 알려서는 안 되는 정보가 드러날 수 있습니다. 출처·메타데이터를 어디까지 보여줄지는 실제 권한으로 검증해야 합니다.
이번 노트가 제안하는 검증 과제
- 개정 전후 규정이 함께 있는 질문: 최신 자료와 과거 자료를 혼동하는지 살펴봅니다.
- 조건에 따라 답이 달라지는 질문: 대상·시점·예외가 답변과 근거에 남는지 확인합니다.
- 자료에 답이 없는 질문: 관련 문서를 찾았다는 이유로 결론을 확정하지 않는지 봅니다.
- 권한이 다른 이용자의 질문: 출처 제목과 인용 위치에도 제한 정보가 노출되지 않는지 확인합니다.
PiGNiTO는 RAG 검색으로 관련 자료를 찾아 근거와 답변 초안을 함께 제공합니다. 인용 위치 표시와 추적 화면의 제공 범위는 도입 환경에 따라 확인해야 합니다. 이 글의 문답은 답변을 검토하는 방법을 설명하는 예시입니다.