Claude Watermarking Mechanism

Claude의 워터마킹은 추론(Inference) 단계에서 작동하는 텍스트 워터마크 기술입니다. 별도의 모델 재학습 없이도 생성되는 텍스트에 통계적 식별 기호를 부여합니다.

작동 원리

텍스트를 생성할 때 모델은 다음 단어로 올 수 있는 점수가 높은 여러 후보 토큰들을 예측합니다. 일반적으로는 가장 점수가 높은 토큰(top-k/top-p)을 선택하지만, 워터마킹을 적용하면 비밀 키(Secret Key)와 이전 토큰을 결합하여 선택에 관여하는 랜덤성을 통제합니다. 이를 여러 토큰에 반복 적용하면, 일반적인 조합으로는 통계적으로 발생하기 매우 어려운 특정 패턴(워터마크)이 생성됩니다.

한계 및 의문점

  1. 적용 범위의 모호성: EU 규제 대응을 위해 전체 사용자에게 워터마킹을 적용한다고 하지만, 추론 시점에만 관여하는 기술이므로 원한다면 특정 지역 사용자에게만 제한적으로 적용할 수도 있을 것이라는 의문이 존재합니다.
  2. 비결정적(Non-deterministic) 검증: 생성된 텍스트의 워터마크 유무를 판단하려면 원래 입력된 프롬프트가 필요할 수 있습니다. 텍스트 분량이 짧은 경우에는 통계적 유의성이 떨어져 검증의 신뢰도가 낮아집니다.
  3. 낮은 엔트로피 작업에서의 성능 저하: 워터마킹은 높은 온도(Temperature)를 가진 자유로운 산문에서 토큰을 숨기기 적합합니다. 하지만 수학, 코드 작성, 사실적이고 짧은 답변 등 정해진 답이 있는 영역에서는 토큰을 임의로 변경하면 결과의 정확도를 크게 해칠 수 있습니다. (Paraphrasing 공격에 대한 견고성도 아직 해결 과제로 남아있습니다.)