틀린 답과 틀린 실행은 결과가 다릅니다
AI의 답변이 틀리면 사용자가 다시 확인할 수 있습니다. 하지만 에이전트가 잘못된 고객의 계약을 바꾸거나 같은 요청을 두 번 처리하면 실제 데이터와 업무에 영향을 줍니다.
에이전트가 답변을 넘어 실행할 때는 정확한 문장보다 대상과 권한, 변경 내용을 통제하는 구조가 먼저 필요합니다.
조회와 실행을 분리합니다
기본 흐름은 조회, 확인, 실행입니다. 먼저 대상과 현재 상태를 읽고, 무엇을 어떻게 바꿀지 사용자에게 보여준 뒤 승인된 값만 실행합니다.
조회 기능은 데이터를 바꾸지 않아야 합니다. 변경 기능에는 필요한 항목만 전달하고, 사용자가 확인한 대상과 실제 처리 대상이 같은지 다시 검사해야 합니다.
중요한 단계에는 승인을 둡니다
모든 작업에 승인이 필요한 것은 아닙니다. 문서를 찾고 내용을 정리하는 일은 바로 수행할 수 있지만, 데이터 변경과 외부 발송처럼 되돌리기 어려운 작업에는 승인이 필요합니다.
승인 화면에는 대상, 변경 값과 예상 결과를 이해하기 쉽게 보여줘야 합니다. 내부 코드나 모호한 설명만으로는 사용자가 올바르게 판단하기 어렵습니다.
프롬프트 밖에도 안전장치를 둡니다
“조심해서 실행하라”는 지시만으로는 충분하지 않습니다. 에이전트가 사용할 수 있는 기능과 권한을 제한하고, 입력값을 검사하고, 같은 요청이 반복되어도 한 번만 처리되도록 해야 합니다.
실행이 실패하면 성공한 것처럼 숨기지 않고 어느 단계에서 멈췄는지 알려야 합니다. 좋은 에이전트는 모든 일을 자동으로 처리하는 시스템이 아니라, 허용된 범위 안에서 안전하게 완료하는 시스템입니다.
