Andrej Karpathy의 nanochat 프로젝트를 Hugging Face의 transformers 라이브러리에 통합하는 과정을 통해 AI 모델링의 역사를 학습합니다. 이 과정은 nanochat이 다른 정식 모델들과 어떻게 관련되고 구성 요소를 공유하는지에 대한 통찰을 제공합니다.

nanochat 아키텍처의 주요 개선 사항
- QK 정규화 (QK Normalization): Llama 4에서 대중화되었으며, 훈련 중 어텐션 점수를 안정화시킵니다.
- 가중치 분리 (Untied Weights): 임베딩과 LM 헤드 간의 가중치를 분리하여 모델에 유연성을 더합니다.
- ReLU² 활성화 (ReLU² Activation): 표준 GELU 활성화를 대체하는 더 빠른 대안입니다.
- 멀티 쿼리 어텐션 (Multi-Query Attention, MQA): KV 캐시의 메모리 사용량을 줄입니다.