현대 강화학습 실습 및 정렬 가이드 (2026)
이 문서는 오픈소스 교육 과정인 *“Hands-On Modern RL”*의 핵심 개념과 설계 원칙을 정리하고, 현대 초거대 언어 모델(LLM) 및 에이전트 정렬을 위한 강화 학습의 실천적 접근법을 제시합니다.
1. 실습 우선주의 및 행동 설명
전통적인 수식 중심의 강화학습 학습 경로에서 벗어나, 실행 가능한 코드와 학습 지표(Training metrics)를 먼저 관찰한 뒤 수학적 템플릿(MDP, Bellman equation 등)을 적용해 동작을 설명하는 방식을 지향합니다.
- 실무적 디버깅: 강화학습의 흔한 실패 형태인 훈련 붕괴(Training collapse), 보상 해킹(Reward hacking), KL 드리프트(KL drift), 엔트로피 감쇠(Entropy decay), OOM 등을 단순 에러가 아닌 알고리즘 분석과 디버깅의 핵심 주제로 취급합니다.
2. LLM Post-Training 및 정렬 기술
현대 강화학습은 클래식 제어(CartPole 등)를 넘어 대규모 언어 모델의 사후 학습 및 인간 선호도 정렬에 초점을 맞춥니다.
- DPO (Direct Preference Optimization): 보상 모델 훈련 과정 없이 직접 언어 모델의 행동 정책을 선호도에 맞게 미세조정하는 방법.
- GRPO (Group Relative Policy Optimization): DeepSeek에서 대중화한 수학적 기법으로, 기준선(baseline)을 추정하기 위한 별도의 가치 모델(Critic model)을 두지 않고 출력 그룹 내의 상대적 장점(Advantage)을 계산하여 자원을 절약하고 효율을 극대화합니다.
- RLVR (Reinforcement Learning with Verifiable Rewards): 컴파일 테스트 성공 여부, 수학 공식 정답 여부 등 검증 가능한 규칙에 기반하여 명확한 보상을 제공함으로써 Hallucination을 줄이고 reasoning 성능을 향상하는 방법입니다.