AI 지능의 양자화: 인공 신경망은 어떻게 ‘갑자기’ 깨닫는가? (Grokking 2탄)

이 글은 인공지능 모델의 성능 향상에 대한 기존의 ‘스케일링 법칙’이 설명하지 못하는 ‘창발적 능력(Emergent Abilities)’ 또는 ‘그로킹(Grokking)’ 현상을 ‘양자 가설(Quanta Hypothesis)‘을 통해 새롭게 해석합니다. 기존의 스케일링 법칙은 모델의 크기를 키우고 데이터를 더 많이 학습시키면 성능이 매끄럽게 향상된다는 경험적 관찰에 기반합니다. 이는 지능이 물리량처럼 연속적으로 증가하는 것처럼 보이게 합니다. 그러나 실제로는 특정 능력들이 점진적으로 개선되는 것이 아니라, 모델이 특정 규모를 넘어서는 순간 마치 스위치를 켠 것처럼 갑자기 나타나는 현상이 관찰됩니다. 작은 모델에서는 불가능했던 추론이나 일반화가 어느 시점부터 거짓말처럼 가능해지는 것입니다.

Eric J. Michaud는 이러한 모순을 해결하기 위해 인공 신경망이 세상을 점진적으로 이해하는 것이 아니라, 완성된 지능의 단위들을 하나씩 획득해 나간다는 ‘양자 가설’을 제안합니다. 여기서 ‘양자(Quanta)‘는 어떤 개념이나 특정 문제를 해결하는 알고리즘과 같은 지능의 최소 단위를 의미합니다. 중요한 점은 이 양자들이 부분적으로 학습되는 것이 아니라, 신경망 내부에서 ‘획득되었거나’ 아니면 ‘아예 없거나’ 둘 중 하나라는 것입니다. 중간 단계는 존재하지 않습니다.

그렇다면 학습 곡선이 왜 매끄럽게 보이는가에 대한 의문이 생깁니다. Michaud는 이는 양자마다 ‘사용 빈도’가 다르기 때문이라고 설명합니다. 어떤 양자는 매우 자주 필요하고, 어떤 것은 극히 드물게 사용됩니다. 학습이 진행됨에 따라 모델은 자주 쓰이는 양자부터 순차적으로 확보하게 되는데, 이 수많은 불연속적인 획득이 쌓여 평균적으로는 부드러운 곡선처럼 보일 뿐입니다. 이는 마치 수많은 점(픽셀)으로 이루어진 고해상도 사진이 멀리서 보면 매끄러운 실사처럼 보이는 것과 같은 이치입니다.

이러한 관점에서 보면, 창발적 능력이나 ‘그로킹’과 같은 갑작스러운 깨달음은 더 이상 신비로운 현상이 아닙니다. 특정 과제를 해결하는 데 필요한 핵심 양자들이 모두 모이는 순간, 모델은 비로소 그 능력을 갖추게 됩니다. 그전까지는 아무 의미 없어 보이던 조각들이 마지막 한 조각이 더해지는 순간 하나의 기능으로 결속되는 것입니다. 결국 연속적인 성능 향상과 불연속적인 능력의 출현은 모순이 아니라, 지능의 양자들이 쌓여가는 과정의 두 가지 단면일 뿐입니다.

이러한 해석은 딥러닝을 이해하는 방식 자체를 변화시킬 것을 요구합니다. 지금까지는 평균 손실과 같은 거시적인 지표로만 모델을 평가해 왔지만, 이제는 모델 내부에 어떤 양자들이 존재하고 각각이 어떤 역할을 하는지를 질문해야 합니다. 어떤 양자가 존재하고 각각이 어떤 역할을 하는지 이해할 수 있다면, 우리는 단순히 “크면 좋아진다”는 믿음을 넘어 왜 특정 시점에 특정 능력이 등장하는지를 과학적으로 설명할 수 있게 됩니다. 이는 인공지능이 인간의 사고 구조를 닮아가는 과정과도 유사합니다. 인간의 지능 역시 개별 개념과 전략의 집합으로 이루어져 있으며, 자주 쓰이는 개념과 드물게 쓰이는 개념이 불균형하게 분포되어 있기 때문입니다.

양자 가설은 아직 완성된 이론이라기보다는 관측된 현상들을 엮어낸 직관적인 지도에 가깝지만, 이는 인공 신경망을 단순히 거대한 함수 근사기로 볼 것인지, 아니면 의미 있는 구성 요소들이 결합된 시스템으로 이해할 것인지에 대한 중요한 질문을 던집니다. 오늘날의 AI 스케일링 경쟁은 단순한 성능 싸움이 아니라 지능의 본질을 검증하는 거대한 실험이며, 양자 가설은 그 실험의 결과물을 해석하고 우리가 나아가야 할 방향을 다시 생각하게 만든다는 점에서 충분히 탐구할 가치가 있습니다.


추출된 관련 URL:

  • Grokking 1탄: https://www.linkedin.com/posts/suk-hyun-k-31ba9b369_ukrswd-ai-suaqtztfmqvz-activity-7414435429711532033-JyoM?utm_source=share&utm_medium=member_desktop&rcm=ACoAAFt2rQcBjVxZv3E_NY1oLQYRn714_JoFQ3E