LLM 학습 패러다임: 4가지 진화 단계
대규모 언어 모델(LLM)은 단순히 도구나 프롬프트를 사용하는 것을 넘어, 네 가지 독특한 학습 패러다임을 통해 발전합니다. 이러한 단계를 이해하는 것은 AI 시스템을 구축하고 미세 조정하며 추론하는 방식을 크게 향상시킬 수 있습니다.
1. 모델 오프라인 사전 학습 (Model Offline Pretraining, MOP)
모든 학습의 시작점입니다.
- 특징: 방대한 양의 정적 데이터로 모델을 훈련합니다. 트랜스포머를 사용하여 다음 토큰 예측 방식으로 학습이 이루어지며, 손실 함수와 역전파를 통해 기울기가 흐릅니다.
- 목표: 일반적인 언어 이해, 추론 패턴 및 세계 지식을 구축합니다.
- 설명: 모델이 인간과 상호작용하거나 피드백을 받기 전에 언어가 작동하는 방식을 가르치는 단계입니다. 오직 규모, 데이터, 최적화에 집중합니다.
2. 모델 온라인 적응 (Model Online Adaptation, MOA)
사전 학습된 모델을 유용하게 만드는 단계입니다.
- 특징: 특정 작업 데이터에 대한 지도 미세 조정(fine-tuning), 인간의 의도를 따르도록 하는 지시 튜닝(instruction tuning)을 포함합니다. LoRA 및 어댑터와 같은 매개변수 효율적인 방법과 RLHF, DPO, RLAIF와 같은 정렬 기술이 사용됩니다.
- 목표: 모델이 무엇을 아는지 뿐만 아니라 어떻게 행동해야 하는지를 배우게 합니다. 응답, 어조, 안전성 및 작업 성능을 형성합니다.
3. 다중 에이전트 오케스트레이션 (Multi-Agent Orchestration, MAO)
현대 시스템이 단일 모델 호출에 의존하지 않는 단계입니다.
- 특징: 여러 에이전트가 통신하고 협력합니다. 에이전트는 추론, 계획, 비판 또는 실행을 전문으로 하며, 자기 성찰과 토론을 통해 결과가 향상됩니다. 도구 호출, 함수 실행, MCP를 통해 실제 작업을 수행합니다.
- 목표: 지능이 매개변수뿐만 아니라 상호작용에서 나타나도록 합니다. 모델 간의 대화를 구조화하여 시스템이 학습합니다.
4. 다중 에이전트 자가 진화 시스템 (Multi-Agent Self-Evolving Systems, MASE)
가장 흥미로운 단계로, 시스템이 스스로 개선하기 시작합니다.
- 특징: 에이전트가 서로뿐만 아니라 환경과 상호작용합니다. 결과, 도구 또는 사용자로부터 피드백 신호를 받으며, 프롬프트, 메모리, 도구 및 워크플로우가 시간이 지남에 따라 진화합니다. 시스템이 지속적으로 행동을 최적화합니다.
- 목표: 학습이 더 이상 훈련에만 국한되지 않고, 루프 내에서 적응하는 단계입니다.
이러한 학습 패러다임의 이해는 LLM의 진정한 학습이 사전 학습 이후에 어떻게 이루어지는지 파악하는 데 중요합니다.
참고 자료:
- Aishwarya Srinivasan의 Substack: https://lnkd.in/dpBNr6Jg
관련 이미지: 제공된 콘텐츠에는 설명 이미지가 포함되어 있지 않습니다.
관련 노트: (현재 기존 노트의 내용을 알 수 없어 관련 링크를 생성할 수 없습니다.)