희소 오토인코더(SAE)를 이용한 LLM 해석 가능성(Interpretability) 분석 11단계
1. 개요
목적: 인공지능 모델 내부의 조밀한 활성(Dense activations) 상태가 실제로 어떤 개념을 의미하고 있는지 해석 가능한 개별 특징(Feature)으로 매핑하는 기법입니다. (예: Anthropic의 “Scaling Monosemanticity” 연구에서 Claude 3 Sonnet 모델로부터 ‘금문교(Golden Gate Bridge)‘와 같은 특정 개념을 분리해낼 때 사용).
접근 방식: 모델이 생성하는 조밀한 3D 활성 벡터를 더 넓은 차원(예: 6D 공간)으로 매핑하며, 대부분의 값을 0으로 채워 희소성(Sparsity)을 유도합니다. 살아남은 일부 양수 값들이 해석 가능한 특징을 설명하게 됩니다.
2. 작동 흐름 11단계 (Walkthrough)
[단계 1] 활성 벡터 입력 (Given)
트랜스포머 모델의 출력으로 생성되는 토큰별 조밀 활성 벡터(Dense activations)를 수집합니다. (예: 5개 토큰 각각에 대한 3차원 벡터).
[단계 2] 인코더 선형 레이어 투영 (Encoder Linear Layer)
입력 벡터 x에 인코더 가중치 Wenc를 곱하고 편향(Bias) benc를 더해 고차원 공간으로 매핑합니다. (예: 3차원에서 6차원으로 확대).
[단계 3] 활성화 함수 적용 (ReLU)
고차원 벡터에 ReLU를 취해 모든 음수 값을 0으로 만듭니다. 이로써 얻어진 희소 특징 벡터 f는 대부분의 값이 0이 되며, 특정 특징만 활성화된 상태가 됩니다. 한두 개의 특징만 양수로 남아 있을 때 해석 가능성이 확보됩니다.
[단계 4] 재구성 (Reconstruction)
희소 특징 f에 디코더 가중치 Wdec를 곱하고 디코더 편향 bdec를 더하여 원래 차원의 벡터 x′로 복원합니다. 학습의 최종 목표는 원본 x와 재구성된 x′의 거리를 좁히는 것입니다.
[단계 5] 디코더 가중치 정규화 (Decoder Weight Norms)
각 특징 열(Column)에 대해 디코더 가중치의 L2 노름(Norm)을 계산합니다. 이 값은 가중치 스케일 치팅(Cheating)을 방지하기 위해 단계 9에서 사용됩니다.
[단계 6] L1 희소성 손실 계산 (L1 Sparsity Loss)
특징 벡터 f 내의 많은 값들이 0이 되도록 유도하기 위해, 특징 값들의 절대값 합(L1 노름)을 계산하고 이를 최소화하는 제약 손실을 더합니다.
[단계 7] L1 기울기 계산 (L1 Gradient)
L1 손실의 기울기는 특징 f가 양수인 곳에서 −1이 됩니다. 이는 양수 특징 값을 0으로 끌어내리도록 가중치를 조정하게 만듭니다.
[단계 8] 0은 유지 (Zero stays zero)
f가 이미 0인 영역에서는 기울기가 0이 되며, 변화가 일어나지 않습니다.
[단계 9] 기울기 스케일 조정 (Weight the Gradient)
L1 기울기 값에 디코더 가중치 노름을 곱해줍니다. 이 과정을 생략하면 모델이 f의 값을 억지로 줄이고 디코더 가중치를 인위적으로 부풀려 손실값을 우회하는 치팅이 발생합니다.
[단계 10] L2 재구성 손실 계산 (L2 Reconstruction Loss)
원본 벡터 x와 복원 벡터 x′의 차이를 측정하는 평균제곱오차(MSE) 혹은 L2 오차의 제곱을 계산하여 최소화합니다.
[단계 11] L2 기울기 계산 및 역전파 (L2 Gradient & Update)
재구성 오차의 기울기(2×(x−x′))와 희소성 손실의 기울기를 모두 사용하여 인코더와 디코더를 학습(역전파)시킵니다. 희소성과 재구성 정확도가 균형을 이룰 때까지 반복합니다.