AI Guardrails란?

AI 가드레일은 모델이나 에이전트 주변에서 실행 시점에 규칙을 적용합니다. 입력 가드레일은 개인정보가 들어 있거나 승인된 주제를 벗어난 요청처럼 프롬프트를 걸러 냅니다. 출력 가드레일은 응답의 형식 오류, 정책 위반, 제공된 자료와 어긋나는 주장을 확인합니다. AI 에이전트의 경우 에이전트가 호출할 수 있는 도구와 사람의 승인이 필요한 시점도 가드레일로 정합니다. 팀은 보통 고정 규칙, 분류 모델, 첫 번째 모델을 검토하는 두 번째 모델을 함께 씁니다.

예를 들어 은행 챗봇은 투자 조언을 하지 않고, 응답에서 계좌 번호를 가리며, 정해진 금액을 넘는 환불 요청은 사람에게 넘길 수 있습니다. 가드레일은 시스템의 입출구에서 동작을 관리하며, AI 안전 실무의 한 부분입니다. 시스템이 쓰는 데이터가 그 업무에 맞는지는 가드레일이 답하지 않는 별개의 질문입니다.

자주 묻는 질문

AI 가드레일에는 어떤 종류가 있습니까?

프롬프트를 걸러 내는 입력 가드레일, 응답을 확인하는 출력 가드레일, AI 에이전트가 쓸 수 있는 도구나 작업을 제한하는 동작 가드레일이 흔히 쓰입니다.

AI 가드레일과 AI 안전은 같은 말입니까?

아닙니다. AI 안전은 AI 시스템이 의도대로 동작하게 하는 더 넓은 분야입니다. 가드레일은 특정 시스템에서 그 일의 일부를 실행 시점에 맡는 통제 장치입니다.

가드레일로 환각을 막을 수 있습니까?

가져온 자료와 응답을 대조하는 식으로 근거 없는 주장 일부를 잡아낼 수 있습니다. 정확성을 보장하지는 못하므로, 팀은 결과와 그 뒤의 데이터를 따로 평가합니다.