엔터프라이즈 RAG(Enterprise RAG)는 조직 내부의 문서와 기록을, 그 조직의 접근 규칙 아래에서 검색해 답을 만드는 방식입니다. 검색 후 생성이라는 구조 자체는 일반 RAG와 같습니다. 다른 것은 그 주변입니다. 누가 어떤 문단을 볼 수 있는지, 원본이 얼마나 자주 바뀌는지, 지난 분기에 내놓은 답을 지금도 설명할 수 있는지가 함께 걸립니다.
데모와 갈리는 지점은 세 가지입니다. 첫째, 권한이 검색 이후까지 유지돼야 합니다. 원본 시스템에서 열 수 없는 문서라면 모델을 거쳐서도 그 내용이 도달하면 안 됩니다. 둘째, 문서는 계속 바뀝니다. 지난달에 만든 인덱스는 지금은 존재하지 않는 시점의 회사를 기준으로 답합니다. 셋째, 평가가 한 번의 점검으로 끝나지 않습니다. 같은 질문에 두 번 다른 답이 나왔다면 왜 달라졌는지 설명할 수 있어야 합니다.
그 앞에 놓인 제약이 하나 더 있습니다. 정작 색인하고 싶은 기록일수록 원본 그대로는 밖으로 내보낼 수 없어서, 아예 대상에서 빠진 채 남은 문서로만 답하게 되는 경우가 많습니다. 민감한 필드를 가리면 문서는 통과하지만, 표의 구조와 업무 식별자 사이의 관계도 함께 사라집니다. 애초에 그 기록을 검색할 값어치가 있게 만들던 부분입니다. 무엇을 어떤 형태로 인덱스에 넣을지는 나중에 처리할 단계가 아니라 엔터프라이즈 RAG 설계의 일부입니다.