LLMOps는 large language model operations의 약자로, LLM 기반 애플리케이션을 프로덕션에 배포하고 운영하며 모니터링하는 데 쓰는 실무와 도구를 통칭합니다. MLOps를 언어 모델의 특성에 맞게 확장한 것으로 프롬프트 관리, 평가, 버전 관리, 검색, 지연 시간, 비용 관리 등을 포함합니다.
예를 들어 검색 증강 어시스턴트를 운영하는 지원팀은 LLMOps로 프롬프트를 버전 관리하고, 고정된 테스트 셋으로 답변 품질을 채점하며, 트래픽이 늘 때 지연 시간과 비용을 지켜봅니다.
대부분의 LLMOps 작업은 모델과 애플리케이션 코드를 추적합니다. 자주 놓치는 사각지대는 각 실행 뒤에 놓인 데이터 상태입니다. 파일럿에서 잘 나온 답변을 재현하려면 모델 버전만이 아니라 실행을 그 시점의 정확한 입력과 데이터 버전에 묶어야 합니다. run binding과 재현 가능한 실행으로 그 간극을 메울 수 있습니다.