파일 업로드는 시작일 뿐입니다
문서를 서버에 올렸다고 해서 바로 질문에 사용할 수 있는 것은 아닙니다. 파일에서 글과 표를 읽고, 문서의 구조를 이해하고, 검색하기 좋은 단위로 나누는 과정이 필요합니다.
이미지로 된 문서는 글자를 읽는 작업이 먼저 필요하며, 제목과 본문, 표와 주석처럼 함께 봐야 하는 내용을 최대한 보존해야 합니다.
의미가 이어지도록 문서를 나눕니다
문서를 일정한 글자 수로만 자르면 조건과 예외가 서로 떨어질 수 있습니다. 반대로 너무 크게 나누면 관련 없는 내용이 함께 검색됩니다.
문단과 제목, 표의 구조를 기준으로 의미가 이어지는 구간을 만들고, 문서명과 작성일, 시행일 같은 정보도 함께 저장해야 합니다.
여러 검색 방법에 같은 내용을 반영합니다
나눈 문서는 의미가 비슷한 내용을 찾는 저장소와 정확한 단어를 찾는 저장소 등에 반영됩니다. 어느 한 단계만 성공하면 검색 결과가 서로 달라질 수 있으므로 전체 과정이 같은 문서를 기준으로 완료되어야 합니다.
처리 단계와 실패한 위치를 기록하면 문제가 생겼을 때 처음부터 다시 시작하지 않고 필요한 부분을 확인할 수 있습니다.
다시 처리할 때는 기존 지식을 먼저 지우지 않습니다
문서를 새 방식으로 다시 처리할 때 기존 검색 자료를 먼저 지우면 작업이 실패했을 때 문서를 사용할 수 없게 됩니다. 새 결과가 정상적으로 만들어진 것을 확인한 뒤 기존 결과를 교체하는 방식이 안전합니다.
취소, 실패와 삭제도 서로 다른 상태로 관리해야 합니다. 사용자가 보는 진행률보다 어떤 단계가 끝났고 어디에서 멈췄는지를 확인할 수 있는 것이 운영에는 더 중요합니다.
