데이터셋이 정확하고 완전해도 특정 업무에는 쓸 수 없을 수 있습니다. 데이터 사용성(data usability)의 문제입니다. 팀에 그 목적으로 데이터를 쓸 권한이 없을 수 있고, 데이터 제공자와의 계약이 그 용도를 제외할 수도 있습니다. 레코드에 특정 지역 밖으로 옮길 수 없는 개인정보가 들어 있을 수도 있습니다.
사용성은 네 가지 근거로 확인합니다.
- 관련된 사람과 시스템의 접근 권한
- 데이터셋에 포함된 민감정보의 유형과 각 유형에 필요한 보호 조건
- 사용이나 이동을 제한하는 계약과 정책
- 데이터가 실제로 사용할 시스템까지 전달되는 경로
데이터를 쓸 수 있게 만들려면 직접 식별자를 대체하는 식으로 일부를 보호하되, 업무에 필요한 관계는 유지해야 할 수 있습니다. 과도한 데이터 삭제 처리처럼 그 관계까지 지우는 보호 방식을 쓰면, 공유는 할 수 있어도 업무에는 쓸 수 없는 데이터가 남습니다.
데이터 사용성은 데이터 접근성과 어떻게 다른가요?
- 접근성은 누군가 데이터에 닿을 수 있는지를 묻습니다. 연결, 자격 증명, 행을 돌려주는 쿼리가 여기에 해당합니다.
- 사용성은 이 목적으로, 이 시스템이, 이 경로를 통해 데이터를 써도 되는지를 묻습니다.
- AI 프로젝트에서 접근은 되지만 사용은 안 되는 상황은 이런 모습입니다. 팀이 테이블을 조회할 수는 있지만 계획했던 모델로는 보낼 수 없습니다.
AI 업무에서 데이터 사용성은 어디서 문제가 되나요?
고객 지원팀이 LLM으로 고객 티켓을 요약하려고 합니다. 티켓은 접근할 수 있고 구조도 잘 잡혀 있지만, 이름, 계좌번호, 건강 정보가 들어 있습니다. 회사 정책상 이런 텍스트는 외부 모델로 보낼 수 없습니다. 요약의 쓸모를 유지하는 방식으로 민감한 값을 처리하기 전까지 프로젝트는 멈춰 있습니다.
Syntitan에서 사용성은 Ready for Raw Data가 프로젝트의 데이터 복사본을 진단할 때 쓰는 6개 축 중 하나입니다. 근거로는 접근 권한, 민감정보 유형, 계약과 정책, 사용 경로를 봅니다. 민감한 텍스트를 외부 모델에 보내는 것이 문제라면 LLM Capsule이 민감하거나 통제 대상인 값을 맥락을 유지하는 대체값으로 바꾸고, 응답에서 원래 값을 복원합니다. 6개 축과 각 축이 업무 기준의 전후 비교 테스트와 어떻게 짝을 이루는지는 Data quality for AI에서 정리합니다.