안녕하세요. AI Ready Data Infrastructure 기업 CUBIG입니다💎.
큐빅은 기업의 데이터를 AI가 활용할 수 있는 형태로 전환하고, 이를 반복적으로 운영하며, 운영 환경에서도 추적 가능한 상태로 만드는 데이터 인프라를 제공합니다.
모델 붕괴(Model Collapse)는 다른 AI 모델이 생성한 데이터를 포함해 오염되었거나 품질이 낮은 데이터로 학습한 AI 모델의 성능이 점진적으로 저하되는 현상을 의미합니다. 이 과정에서 모델이 학습하는 데이터 분포는 점차 좁아지고, 출력 품질은 낮아지며, 이렇게 생성된 저품질 결과물이 다시 다음 학습 데이터로 사용되면서 문제가 더욱 심화됩니다.
실제 운영 환경의 데이터 파이프라인에서 가장 흔한 원인은 품질 검증 단계가 없는 데이터 유입 구조입니다. 데이터가 학습 단계에 도달하기 전에 분포 변화, 결측치 비율, 스키마 이상 여부 등을 검증하는 절차가 부재한 경우가 많습니다. 이제 모델 붕괴는 더 이상 연구 논문 속의 개념에 머무르지 않습니다. 실제 사용자 커뮤니티에서도 활발하게 논의되고 있습니다.
Reddit의 Gemini 사용자 커뮤니티인 r/GeminiFeedback에서는 “Gemini에도 이미 모델 붕괴가 발생하고 있는 것 아니냐”는 질문이 올라왔고, 다수의 이용자가 최근 출력 품질이 이전보다 저하된 것 같다는 의견을 공유했습니다. 또한 r/accelerate에서는 AI가 생성한 결과물이 다시 학습 데이터로 사용되는 피드백 루프가 품질 저하를 빠르게 가속화하며, 오염되지 않은 고품질 학습 데이터는 결국 한정적이라는 점을 지적하는 60개 이상의 댓글이 이어졌습니다. 모델 붕괴 현상을 체계적으로 설명한 Nature 논문을 다룬 r/science 토론 역시 260개가 넘는 댓글이 달리며 큰 관심을 받았습니다.
사람들은 이미 이 문제를 체감하고 있습니다. 다만 많은 경우, 문제의 원인을 잘못된 계층에서 찾고 있을 뿐입니다.
모델 붕괴는 어떻게 발생하는가?
2024년 Shumailov와 연구진은 Nature 논문을 통해 모델 붕괴 현상을 공식적으로 설명했습니다. 해당 연구에 따르면, 재귀적으로 생성된 데이터로 학습된 모델은 원래 데이터 분포의 꼬리 영역부터 먼저 잃어버리게 됩니다.
먼저 희귀하게 나타나는 패턴들이 사라지고, 이후에는 데이터의 분산이 점차 감소합니다. 그 결과, 새로운 세대의 모델은 이전 세대보다 조금 더 좁고 제한적인 세계를 학습하게 됩니다.
이러한 변화는 개별 배치 단위에서는 쉽게 발견하기 어렵습니다. 하지만 분기와 같이 더 긴 기간을 기준으로 살펴보면, 데이터 분포의 축소와 성능 저하가 뚜렷하게 나타나는 것을 확인할 수 있습니다.
세대를 거듭할수록 모델이 학습하는 데이터 분포는 점차 좁아집니다. 먼저 분포의 꼬리 영역(tail)이 사라지고, 이후 분산(variance)이 감소하며, 결국 모델은 하나의 모드에 수렴하는 모델 붕괴 상태에 이르게 됩니다. (Mechanism based on Shumailov et al., Nature 2024.)
이 악순환은 품질이 저하된 모델 출력물이 다시 수집되거나, 정제되거나, 학습 데이터셋에 재편입되면서 완성됩니다.
중요한 점은 이러한 과정이 반드시 AI가 생성한 합성 데이터(synthetic data)를 필요로 하지는 않는다는 것입니다. 학습 과정에 품질 검증 없이 유입된 저품질 데이터라면 어떤 형태이든 동일한 결과를 초래할 수 있습니다. 즉, 검증되지 않은 데이터가 학습 데이터에 포함되는 순간, 모델 붕괴를 유발하는 동일한 메커니즘이 작동하게 됩니다.
합성 데이터가 문제라는 프레임은 성립하지 않습니다
이러한 토론에서 가장 먼저 나오는 반응은 합성 데이터(synthetic data)를 문제의 원인으로 지목하는 것입니다. 그리고 이러한 직관은 충분히 이해할 수 있습니다. 모델이 생성한 텍스트가 다시 모델 학습에 사용된다는 것은 문제의 정의 자체처럼 들리기 때문입니다.
하지만 수치는 다른 이야기를 하고 있습니다. Hacker News에서 널리 공유된 한 분석에 따르면, 현재 학습 데이터의 약 70%는 이미 합성 데이터이거나 정제된 데이터인 것으로 추정됩니다. 만약 합성 데이터 자체가 본질적으로 유해하다면,
최전선의 모든 AI 연구소는 지금쯤 모델이 무너지는 현상을 목격하고 있어야 할 것입니다.
하지만 실제로는 그렇지 않습니다.
그 이유는 이 정도 비율의 합성 데이터를 사용하는 연구소들이 학습에 투입되는 모든 데이터에 대해 강도 높은 필터링과 검증을 수행하고 있기 때문입니다. 결과를 결정하는 기준은 합성 데이터냐 실제 데이터냐가 아닙니다.
검증되었느냐, 검증되지 않았느냐입니다.
The deciding axis isn’t synthetic versus real, but whether data is checked at ingestion.
Clinical example based on synthetic-data results in Nature’s Scientific Reports.
모델 붕괴의 진짜 원인: 입구에 품질 게이트가 없는 것
대부분의 데이터 파이프라인에는 사실상 데이터를 걸러내는 ‘정문’이 없습니다.
데이터는 외부 API, 공급업체 피드, 스크래핑, 그리고 내부 시스템으로부터 유입됩니다. 대부분의 학습 환경에서는 유입되는 데이터 배치의 분포가 예상 범위 내에 있는지, 결측치 비율이 증가했는지, 스키마가 학습 시스템이 기대하는 형태와 일치하는지, 혹은 변수 간 관계가 여전히 타당한지를 확인하는 과정이 없습니다.
들어오는 데이터는 그대로 학습에 사용됩니다. LLM이 작성한 데이터셋이 스크래핑 데이터에 포함되더라도 이를 탐지하는 사람은 없습니다. 데이터 오염 탐지는 대부분의 학습 파이프라인에서 표준 단계가 아니기 때문입니다. 보통은 사고 분석 결과로 발견됩니다.
팀 내부에서는 이러한 상황이 다음과 같은 모습으로 나타납니다.
월요일 아침, Slack 알림이 도착합니다. 정확도가 1.2% 하락했습니다. 하이퍼파라미터는 변경되지 않았고, 파이프라인도 그대로입니다.
세 시간 동안 원인을 추적한 끝에 문제가 드러납니다. 외부 API가 출력 형식을 변경했고, 데이터 스키마는 더 이상 기존 형식과 일치하지 않았습니다. 그러나 데이터 수집 단계에서 검증이 없었기 때문에, 잘못된 데이터 배치는 그대로 학습 과정에 투입되었습니다. 운영 환경에서 모델을 운영해 본 사람이라면 누구나 이와 비슷한 경험을 가지고 있습니다. 그리고 대부분 한 번으로 끝나지 않습니다.
Anaconda의 State of Data Science 설문조사에 따르면, 데이터 과학자들은 모델링을 시작하기 전에 전체 업무 시간의 약 45%를 데이터 준비 작업에 사용한다고 응답했습니다. 그 시간의 상당 부분은 바로 이것에 사용됩니다.
원래 데이터 유입 단계에서 차단되었어야 할 데이터를 뒤늦게 정리하는 작업입니다.
증거가 보여주는 것
의료 AI 분야에서는 이 문제를 직접 검증해 왔습니다. 합성 환자 데이터는 실제 환자 기록을 사용하지 않고도 모델을 학습시킬 수 있는 몇 안 되는 방법 중 하나이기 때문입니다.
Nature의 Scientific Reports에 게재된 한 연구에서는, 합성 환자 데이터 생성 플랫폼인 Synthea의 데이터를 사용해 학습한 모델이 임상 위험 예측 과제에서 AUC 0.96을 기록했습니다. 실제 환자 데이터가 전혀 포함되지 않았음에도 높은 성능을 달성한 것입니다.
반면, Shumailov와 연구진이 설명한 모델 붕괴 현상은 전혀 다른 조건에서 발생했습니다. 모델이 생성한 콘텐츠가 아무런 필터링 없이 다시 학습 데이터에 포함된 경우였습니다. 같은 재료가 사용되었지만 결과는 달랐습니다. 그리고 그 차이를 만든 것은 데이터가 유입되는 과정에서 적용된 통제 장치였습니다.
이 사실은 논의의 방향을 바꿔야 한다는 점을 보여줍니다. 합성 데이터와 실제 데이터를 비교하는 논의는 결과에 큰 영향을 미치지 않는 변수를 측정하고 있습니다. 반면, 실제로 결과를 결정하는 변수인 데이터 수집 단계에서의 AI 학습 데이터 품질은 측정조차 되지 않고 있습니다.
데이터 품질 검증 파이프라인은 무엇을 확인할까?
품질 게이트는 학습이 시작되기 전에 모든 데이터 배치에 대해 자동으로 수행되는 네 가지 검증 절차로 구성됩니다.
- 스키마 검증
학습 시스템이 12개의 컬럼을 기대하고 있는데 실제로는 11개의 컬럼만 들어왔다면, 해당 배치를 차단하고 담당자에게 알림을 보내야 합니다. 그 차이를 모델이 직접 발견하도록 두어서는 안 됩니다. - 결측치 임계값 검증
결측치 비율이 2%에서 15%로 증가했다면 이는 상위 시스템의 장애를 의미합니다. 품질 게이트에서 이를 발견하면 몇 분이면 해결할 수 있지만, 학습이 끝난 뒤 발견하면 며칠이 걸릴 수 있습니다. - 분포 검증
유입되는 데이터 배치를 예상 분포 범위와 비교해야 합니다. 시작 단계에서는 KS 검증만으로도 충분합니다. 데이터 분포의 변화를 학습 데이터가 되기 전에 탐지해야 합니다. - 상관관계 이상 검증
항상 함께 움직이던 변수들이 더 이상 같은 패턴을 보이지 않는다면, 상위 시스템 어딘가에 변화가 발생했다는 의미입니다. 그 사실을 모델이 가장 먼저 발견해서는 안 됩니다.
이러한 검증 과정은 특별하거나 복잡한 것이 아닙니다. 검사는 몇 초 안에 수행되며, 임계값 역시 이미 보유하고 있는 데이터를 기반으로 설정할 수 있습니다. 어떤 도구를 사용하는지는 중요하지 않습니다. 중요한 것은 검증 자체를 수행하는 결정입니다.
의심스러운 데이터 배치는 조용히 삭제하지 말고 격리해야 하며, 검증 실패는 명확하게 알려야 합니다.
품질 게이트는 단 한 번만 문제를 발견해도 그 가치를 충분히 증명합니다.
검증되지 않은 상태로 남아 있는 비용
Gartner는 2026년까지 AI 준비 데이터(AI-ready data)가 뒷받침되지 않는 AI 프로젝트의 60%가 조직 내에서 중단될 것으로 전망했습니다.
이 수치는 종종 더 큰 플랫폼을 도입해야 하는 조달 문제로 해석됩니다. 하지만 이를 운영 관점에서 바라보는 것이 더 적절합니다. 이러한 프로젝트의 대부분은 유입되는 데이터를 그대로 학습에 사용했으며, 시연에서는 좋은 성과를 보였던 파일럿 프로젝트와 실제 운영 환경에서 지속 가능한 시스템 사이의 차이는 구축되지 않은 품질 게이트 하나인 경우가 많습니다.
AI 준비 데이터 체계를 구축하려는 팀에게 데이터 수집 단계의 품질 게이트는 가장 먼저 도입할 수 있고, 가장 비용이 적게 드는 구성 요소입니다. 또한 이는 데이터 오염을 유입 시점에 발견하는 것과, 성능이 저하된 결과를 설명하느라 한 분기 전체를 소비하는 것 사이의 차이를 만들어냅니다.
FAQ: AI 학습 데이터 품질
Q. 모델 붕괴의 주요 원인은 무엇인가요?
반복적으로 품질이 저하되었거나 오염된 데이터를 학습하는 것입니다. 가장 많이 언급되는 원인은 모델이 생성한 텍스트가 다시 학습 데이터셋에 포함되는 경우입니다. 이러한 문제가 발생하는 운영상의 원인은 데이터 수집 단계에 품질 검증 절차가 없기 때문입니다. 그 결과, 오염된 데이터 배치가 누구에게도 발견되기 전에 모델 학습에 사용됩니다.
Q. 합성 데이터는 AI 학습에 안전한가요?
동료 심사를 거친 의료 AI 연구들은 잘 생성된 합성 데이터가 임상 과제에서 높은 성능을 보일 수 있음을 보여주고 있습니다. 또한 현재 사용되는 학습 데이터의 상당 부분은 이미 합성 데이터 또는 정제 데이터입니다. 위험은 데이터의 출처가 아니라, 어떤 데이터든 검증 없이 학습 과정에 유입되는 상황에 집중됩니다.
Q. 데이터 품질 게이트란 무엇인가요?
데이터가 학습 파이프라인에 유입되는 시점에서 수행되는 자동화된 검증 절차입니다. 일반적으로 스키마 검증, 결측치 임계값 검증, 분포 검증, 상관관계 이상 검증으로 구성됩니다. 검증에 실패한 데이터 배치는 학습에 사용되지 않고 격리됩니다. 이 검증은 정해진 일정이 아니라 모든 데이터 배치에 대해 수행됩니다.
Q. 학습 데이터의 오염은 어떻게 탐지하나요?
데이터 수집 단계에서 예상 범위 대비 분포 변화, 결측치 급증, 갑작스러운 중복 증가, 스키마 불일치를 모니터링함으로써 탐지할 수 있습니다. 특히 LLM이 생성한 텍스트의 경우에는 중복성과 문체의 과도한 균일성을 활용한 탐지 방법이 도움이 됩니다. 다만 이러한 방법은 사고 분석 단계가 아니라 학습 이전에 수행될 때만 효과를 발휘합니다.
Q. 시작 단계에서는 어느 정도의 검증이 필요할까요?
가장 많은 데이터가 유입되는 소스를 대상으로 스키마, 결측치 비율, 데이터 분포를 검증하고, 이상이 발생했을 때 담당자에게 알림이 전달되도록 구성하는 것만으로도 충분합니다. 이후 검증 과정에서 문제가 발견될 때마다 검증 범위를 점진적으로 확대해 나가면 됩니다. 모든 데이터 배치에 대해 실행되는 기본적인 품질 게이트는, 분기마다 한 번 수행되는 철저한 검토보다 더 큰 효과를 발휘합니다.