Data Swamp란?

데이터 레이크는 많은 원본 데이터를 원래 형식 그대로 저장하므로 싸고 유연하게 데이터를 넣을 수 있습니다. 그런데 메타데이터, 분명한 담당자, 무엇을 넣고 어떻게 확인할지에 대한 규칙이 없으면 아무도 설명할 수 없는 파일이 쌓입니다. 중복 사본, 출처를 모르는 데이터, 오래된 추출본, 뜻이 불분명한 컬럼이 늘어납니다. 이 상태를 데이터 늪이라고 부릅니다. 데이터는 그대로 있지만, 맞는 테이블을 찾아 믿고 쓰기까지 처음부터 다시 만드는 것보다 오래 걸립니다.

예를 들어 고객 이탈 데이터를 찾던 분석가가 행 수가 서로 다른 비슷한 테이블 다섯 개를 발견했는데, 재무팀이 어느 것을 쓰는지 아무 기록도 없을 수 있습니다. 팀은 데이터 카탈로그, 데이터셋별 담당자, 데이터 계보로 상황을 되돌립니다. AI 업무에서는 이런 형태로 비용이 드러납니다. 모델이나 에이전트가 맞아 보이는 테이블을 읽었지만, 그 테이블이 더 이상 업무가 전제하는 뜻이 아닐 수 있습니다.

자주 묻는 질문

데이터 레이크와 데이터 늪은 무엇이 다릅니까?

데이터 레이크는 저장 방식입니다. 데이터 늪은 데이터를 찾고 믿는 데 필요한 문서화, 담당자, 품질 관리를 잃은 데이터 레이크입니다.

데이터 늪은 왜 생깁니까?

메타데이터 없이 데이터를 넣는 것, 분명한 담당자가 없는 것, 보관·삭제 규칙이 없는 것, 중복 추출본, 품질과 뜻을 확인하지 않는 것이 흔한 원인입니다.

데이터 늪은 어떻게 정리합니까?

있는 데이터를 목록으로 만들고, 담당자를 정하고, 계보를 기록하고, 중복·오래된 데이터를 지우고, 새 데이터를 넣을 때 갖춰야 할 정보를 규칙으로 정합니다.