LLM 게이트웨이(LLM Gateway)는 조직 내부의 사용자·애플리케이션과 외부 언어 모델 사이에 놓여 요청을 중계하는 관리 계층입니다. 어떤 모델로 보낼지 정하고, 누가 무엇을 요청했는지 기록하며, 사용량과 비용을 통제합니다. 부서마다 제각기 모델을 호출하면서 생기는 Shadow AI 문제를 한 지점에서 관리하려고 도입합니다.
게이트웨이가 다루는 것은 요청의 경로입니다. 어디로 가는지, 누가 허가했는지, 얼마나 썼는지를 관리합니다. 프롬프트에서 탐지된 개인정보를 가리는 기본 필터링도 이 층에서 이뤄집니다.
다만 원본 그대로는 내보낼 수 없는 운영 데이터를 어떻게 쓸 것인가는 다른 질문입니다. 필터링은 탐지된 값을 가리는 방식이라 요청은 통과하지만, 표의 구조나 회선·자산 같은 업무 식별자의 관계가 함께 사라집니다. 그 상태에서 나온 답은 사람이 다시 맞춰 넣어야 실무에 쓸 수 있습니다. 접근을 통제하는 문제와, 내보낼 수 없는 데이터를 쓸 수 있는 형태로 바꿨다가 결과를 되돌리는 문제는 서로 다른 계층에 있습니다. 그 두 번째 계층은 다른 범주에 있습니다. AI를 위한 컨텍스트 보존 데이터 레이어이고, LLM Capsule이 여기에 해당합니다.