Data Tokenization이란?

데이터 토큰화는 민감한 값을 그 자체로는 쓸모 있는 의미가 없는 토큰으로 바꿉니다. 예를 들어 결제 카드 번호는 같은 길이의 문자열로 바뀌고, 카드를 구분하기만 하면 되는 시스템은 원래 번호 대신 토큰을 저장합니다. 볼트(vault) 방식에서는 토큰 서비스가 토큰과 원래 값의 대응 관계를 저장합니다. 볼트 없는(vaultless) 방식은 키를 쓰는 알고리즘으로 토큰을 만들고 대응표를 두지 않습니다. 결제 분야에서는 PCI DSS 기준에서 카드 소지자 데이터를 다루는 시스템의 수를 줄일 수 있어 토큰화를 널리 씁니다.

토큰화는 암호화와 다릅니다. 암호화한 데이터는 키를 가진 사람이면 누구나 복호화할 수 있지만, 토큰은 토큰 서비스나 알고리즘을 거쳐야만 원래 값과 연결됩니다. 언어 모델에서 말하는 토큰화는 전혀 다른 뜻으로, 모델이 읽을 수 있게 텍스트를 단위로 나누는 일을 가리킵니다. 분석과 AI 업무에서는 형식을 유지하고 일관되게 만든 토큰 덕분에 레코드가 구조를 유지하고 표 사이에서도 연결됩니다.

자주 묻는 질문

토큰화와 암호화는 무엇이 다릅니까?

암호화는 알고리즘과 키로 데이터를 변환하며, 키를 가진 사람은 누구나 되돌릴 수 있습니다. 토큰화는 데이터를 토큰으로 바꾸며, 토큰 서비스나 알고리즘만 원래 값으로 되돌릴 수 있습니다.

데이터 토큰화는 LLM의 토큰화와 같습니까?

아닙니다. LLM의 토큰화는 모델이 처리할 수 있게 텍스트를 토큰으로 나누는 일입니다. 데이터 토큰화는 개인정보 보호와 규정 준수를 위해 민감한 값을 다른 값으로 바꾸는 일입니다.

형식 보존 토큰화는 무엇입니까?

카드 번호의 16자리처럼 원래 값의 길이와 문자 형태를 유지하는 토큰을 만드는 방식입니다. 그래서 기존 시스템과 검증 규칙이 토큰을 그대로 받아들일 수 있습니다.