LLM 게이트웨이(LLM Gateway)는 조직 내부의 사용자·애플리케이션과 외부 언어 모델 사이에 놓여 요청을 중계하는 관리 계층입니다. 어떤 모델로 보낼지 정하고, 누가 무엇을 요청했는지 기록하며, 사용량과 비용을 통제합니다. 부서마다 제각기 모델을 호출하면서 생기는 Shadow AI 문제를 한 지점에서 관리하려고 도입합니다.
게이트웨이가 다루는 것은 요청의 경로입니다. 어디로 가는지, 누가 허가했는지, 얼마나 썼는지를 관리합니다. 프롬프트에서 탐지된 개인정보를 가리는 기본 필터링도 이 층에서 이뤄집니다.
다만 원본 그대로는 내보낼 수 없는 운영 데이터를 어떻게 쓸 것인가는 다른 질문입니다. 필터링은 탐지된 값을 가리는 방식이라 요청은 통과하지만, 표의 구조나 회선·자산 같은 업무 식별자의 관계가 함께 사라집니다. 그 상태에서 나온 답은 사람이 다시 맞춰 넣어야 실무에 쓸 수 있습니다. 접근을 통제하는 문제와, 내보낼 수 없는 데이터를 쓸 수 있는 형태로 바꿨다가 결과를 되돌리는 문제는 서로 다른 계층의 일입니다. 두 번째 문제는 컨텍스트 보존 방식으로 다룹니다. 고객이 통제하는 환경에서 민감 정보를 찾아 문맥을 지키며 치환하고, 보호 작업본만 승인된 AI로 보낸 뒤, 응답을 내부 매핑으로 실제 업무 값에 다시 연결합니다. CUBIG의 LLM Capsule이 이 방식으로 동작하는 제품입니다.
모델이 아니라 도구로 가는 에이전트의 호출을 관리하는 계층은 MCP 게이트웨이에서 설명합니다.