희소 오토인코더(SAE)를 이용한 LLM 해석 가능성(Interpretability) 분석 11단계

1. 개요

  • 목적: 인공지능 모델 내부의 조밀한 활성(Dense activations) 상태가 실제로 어떤 개념을 의미하고 있는지 해석 가능한 개별 특징(Feature)으로 매핑하는 기법입니다. (예: Anthropic의 “Scaling Monosemanticity” 연구에서 Claude 3 Sonnet 모델로부터 ‘금문교(Golden Gate Bridge)‘와 같은 특정 개념을 분리해낼 때 사용).
  • 접근 방식: 모델이 생성하는 조밀한 3D 활성 벡터를 더 넓은 차원(예: 6D 공간)으로 매핑하며, 대부분의 값을 0으로 채워 희소성(Sparsity)을 유도합니다. 살아남은 일부 양수 값들이 해석 가능한 특징을 설명하게 됩니다.

2. 작동 흐름 11단계 (Walkthrough)

[단계 1] 활성 벡터 입력 (Given)

  • 트랜스포머 모델의 출력으로 생성되는 토큰별 조밀 활성 벡터(Dense activations)를 수집합니다. (예: 5개 토큰 각각에 대한 3차원 벡터).

[단계 2] 인코더 선형 레이어 투영 (Encoder Linear Layer)

  • 입력 벡터 에 인코더 가중치 를 곱하고 편향(Bias) 를 더해 고차원 공간으로 매핑합니다. (예: 3차원에서 6차원으로 확대).

[단계 3] 활성화 함수 적용 (ReLU)

  • 고차원 벡터에 ReLU를 취해 모든 음수 값을 0으로 만듭니다. 이로써 얻어진 희소 특징 벡터 는 대부분의 값이 0이 되며, 특정 특징만 활성화된 상태가 됩니다. 한두 개의 특징만 양수로 남아 있을 때 해석 가능성이 확보됩니다.

[단계 4] 재구성 (Reconstruction)

  • 희소 특징 에 디코더 가중치 를 곱하고 디코더 편향 를 더하여 원래 차원의 벡터 로 복원합니다. 학습의 최종 목표는 원본 와 재구성된 의 거리를 좁히는 것입니다.

[단계 5] 디코더 가중치 정규화 (Decoder Weight Norms)

  • 각 특징 열(Column)에 대해 디코더 가중치의 노름(Norm)을 계산합니다. 이 값은 가중치 스케일 치팅(Cheating)을 방지하기 위해 단계 9에서 사용됩니다.

[단계 6] 희소성 손실 계산 ( Sparsity Loss)

  • 특징 벡터 내의 많은 값들이 0이 되도록 유도하기 위해, 특징 값들의 절대값 합( 노름)을 계산하고 이를 최소화하는 제약 손실을 더합니다.

[단계 7] 기울기 계산 ( Gradient)

  • 손실의 기울기는 특징 가 양수인 곳에서 이 됩니다. 이는 양수 특징 값을 0으로 끌어내리도록 가중치를 조정하게 만듭니다.

[단계 8] 0은 유지 (Zero stays zero)

  • 가 이미 0인 영역에서는 기울기가 0이 되며, 변화가 일어나지 않습니다.

[단계 9] 기울기 스케일 조정 (Weight the Gradient)

  • 기울기 값에 디코더 가중치 노름을 곱해줍니다. 이 과정을 생략하면 모델이 의 값을 억지로 줄이고 디코더 가중치를 인위적으로 부풀려 손실값을 우회하는 치팅이 발생합니다.

[단계 10] 재구성 손실 계산 ( Reconstruction Loss)

  • 원본 벡터 와 복원 벡터 의 차이를 측정하는 평균제곱오차(MSE) 혹은 오차의 제곱을 계산하여 최소화합니다.

[단계 11] 기울기 계산 및 역전파 ( Gradient & Update)

  • 재구성 오차의 기울기()와 희소성 손실의 기울기를 모두 사용하여 인코더와 디코더를 학습(역전파)시킵니다. 희소성과 재구성 정확도가 균형을 이룰 때까지 반복합니다.