LLM 사후학습(Post-Training) 심층 분석: OPD 역학, 희소 보상 기아, 자가 학습 검증 (2026)
1. 핵심 요약 (Executive Summary)
2026년 8~10월 발표된 주요 LLM 사후학습(Post-Training) 연구 16편을 종합하면, 기존의 통념(교사 지식 전이로서의 증류, GRPO 만능주의, 단일 자기평가 기반 자가 진화, 무제한 샘플링 확장)을 뒤집는 5가지 구조적 메커니즘이 규명되었다.
- 온폴리시 증류(OPD)의 실체: OPD의 성능 향상은 교사 모델의 지식을 배운 결과가 아니라 학생이 낮은 확률로 선택하던 노이즈 토큰을 억제한 효과가 주원인이다.
- 장기 워크플로 희소 보상 기아(Sparse Reward Starvation): 전체 대화의
3.4%에서만 발동하지만 점수를+0.455끌어올리는 결정적 능력(장기 기억 호출 등)은 대부분 그룹에서 보상 분산이 0이 되어 표준 GRPO로 학습되지 않는다. 이를 해결하기 위해 SRD(사후 실패의 사전 주의사항 변환)와 DARA(밀도 인지 다중 보상 가중치)가 도입되었다. - 자가 학습 공조 부정행위(Co-Cheating) 차단: 생성·풀이·채점 루프에서 동일 오류가 누적되는 현상을 막기 위해 데이터 분할 교차 검증(False Frontiers) 및 10% 실환경(원본 파일·코드 실행) 그라운딩이 필수적이다.
- 에이전트 후보 생성 vs 선택 병목(Mid-Harness): 에이전트는 정답 명령을 이미 후보군에 생성해 두고도 선택하지 못해 실패하며, 메모리 태그(
memory) 표기 방식만으로도 사용 빈도가10~14%p왜곡된다. - 샤프닝 택스(Sharpening Tax): 사후학습(RL/SFT)은 기존 가능 풀이의 적중률은 높이지만 새로운 해법 탐색 다양성을 깎아먹으므로, 어려운 문제에만 선택적으로 탐색을 늘리거나 서로 다른 체크포인트를 앙상블해야 한다.
2. 영역별 핵심 메커니즘 및 설계 패턴
2.1 온폴리시 증류(OPD)와 파라미터 업데이트 방향성
- 교사 없는 자기 개선 (Does On-Policy Distillation Really Distill?):
- On-Policy Distillation (OPD)이 성능을 높이는 핵심 원인은 교사(Teacher)의 지식을 흡수해서가 아니라, **학생 모델이 원래 낮은 확률로 선택했던 불안정 토큰들을 후속 스텝에서 덜 쓰도록 억제(Token Suppression)**했기 때문이다. 실제로 교사 모델을 완전히 제거하고 저확률 선택 토큰만 억제해도 기존 OPD보다 높은 성능이 달성된다.
- Forward vs Reverse KL의 지배력 (On-Policy or Off-Policy Learning?):
- 롤아웃을 학생이 생성했는지(On-policy) 교사가 생성했는지(Off-policy)보다, 목적 함수로 Forward KL과 Reverse KL 중 무엇을 사용하는지가 과제 성능을 훨씬 크게 좌우한다.
- 표현 잔차 및 파라미터 방향 재사용 (The Teacher Is a Direction, Not a Destination / On-Policy Parameter Update Direction):
- RL이나 OPD가 은닉 상태(Hidden State)나 가중치 파라미터를 변화시킨 **방향 벡터(Update Direction)**만 추출하여 후속 학습에 외삽·재사용해도 일반화 성능이 향상된다. 단, 이 방향 벡터를 얻기 위해 선행 RL/OPD가 필요하다는 연산 비용 한계가 존재한다.
2.2 장기 워크플로 희소 보상 기아와 SRD · DARA
- GRPO의 희소 능력 학습 실패 (RealCompanion):
- 장기 대화에서 사용자가 과거에 언급한 계획·고민을 적시에 연결해야 하는 상황은 전체 대화의 **3.4%**에 불과하지만, 정확히 인출해 답하면 응답 품질 점수가 +0.455점 급등한다.
- 그러나 96.6%의 일반 롤아웃 그룹에서는 과거 대화 참조 여부에 따른 보상 차이가
0이므로, 그룹 내 상대 비교를 수행하는 GRPO에서는 학습 신호가 소멸한다.
- SRD (Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight):
- 그룹 내 모든 풀이가 실패했더라도 반복된 실수 패턴을 추출하여, 다음 문제를 풀기 전 **사전 주의사항(Prior Foresight)**으로 주입해 증류함으로써 희소 보상 구간의 학습 정체를 돌파한다(RLTL;DR과 상호 보완).
- DARA (Make Sparse Rewards Count: Density-Aware Reward Aggregation):
- 다중 평가 기준(정답률, 포맷, 길이 등)을 결합할 때, 롤아웃 간 변별 빈도가 낮아 묻히기 쉬운 희소 기준에 밀도 반비례 가중치를 동적으로 부여하여 형식·길이·제약 조건이 학습에서 무시되지 않게 보장한다(GD²PO 참조).
2.3 자가 진화(Self-Training)의 공조 오류(Co-Cheating)와 교차 검증
- False Frontiers (Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents):
- 모델이 스스로 문제를 만들고 풀고 채점하는 자기 학습 루프에서는 동일한 논리 오류가 생성기·풀이기·채점기에 공명(Co-cheating)하여 학습할수록 성능이 하락(모델 붕괴)한다.
- 해법: 평가용 Solver들을 **서로 다른 데이터 분할(Split)**로 독립 학습시킨 뒤, 각자 학습하지 않은 영역의 질문에 대해 상호 동의(Cross-check)하는지 검증한다. 이를 통해 7개 검색 벤치마크 평균 정답률을 기존 Self-training 대비 +8%p 이상 향상시켰다.
- 10% 실환경 그라운딩 (GraphForge / Scaling Automatic Research Agents via World Models):
- 모델의 자기평가만 믿지 않고 전체 학습 자료의 약 10%만이라도 원본 파일 대조나 실제 코드 실행 결과로 교차 검증하면 자가 학습 드리프트가 억제되고 성능이 크게 상승한다.
- 검증기 다양성 원칙 (Questioning the Questions / Nemotron IMO Gold Recipe):
- 동일한 학습 경로를 공유하는 여러 Verifier가 만장일치를 이루더라도 같은 논리적 맹점을 동시에 놓칠 수 있다. 단순 Verifier 개수 증설보다 **서로 다른 정보 원천과 학습 경로를 가진 이종 검증기(Heterogeneous Verifiers)**를 결합하는 것이 핵심이다.
2.4 에이전트 행동 선택(Mid-Harness) 및 샤프닝 택스(Sharpening Tax)
- 후보 생성보다 선택이 병목 (Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents):
- 터미널 에이전트가 실패하는 주원인은 올바른 셸 명령을 생성하지 못해서가 아니라, 이미 생성한 후보 명령들 중에서 정답을 고르지 못하기 때문이다. 강력한 Verifier가 후보 중 적절한 명령만 선택해 주어도 터미널 태스크 성공률이 대폭 상승한다.
- 메모리 라벨 편향 (Hi-Q / RealCompanion):
- 다단계 검색과 장기 대화에서는 현재 근거로 즉시 답할지 추가 검색할지 먼저 판단해야 한다. 특히 동일한 텍스트라도 프롬프트에
memory라는 태그로 표시하면 모델이 내용을 불문하고 10~14%p 더 자주 인용하는 표시 편향(Label Bias)이 발생하므로 프롬프트 설계 시 주의해야 한다.
- 다단계 검색과 장기 대화에서는 현재 근거로 즉시 답할지 추가 검색할지 먼저 판단해야 한다. 특히 동일한 텍스트라도 프롬프트에
- 샤프닝 택스 (Sharpening Tax in Post-Training):
- RL이나 Instruction Tuning을 거치면 원래 풀 수 있던 문제의 안정성은 높아지지만(분포 첨예화), 틀린 문제에서 완전히 새로운 해법을 탐색하는 엔트로피는 감소한다. 따라서 쉬운 문제에 샘플링을 낭비하지 말고 **고난도 문제에만 탐색 예산을 집중하거나 서로 다른 체크포인트를 혼합(Checkpoint Mixing)**하는 전략이 우월하다.
3. 참고 논문 목록 (16 Core Papers, 2026.08–2026.10)
- Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement (2026-08)
- Hi-Q: Hierarchical Evidence-guided Query Refinement for Multi-Hop Question Answering (2026-08)
- The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation (2026-09)
- False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents (2026-09)
- RealCompanion: Benchmarking Human Understanding from Reasoning over Longitudinal Real-World Conversations (2026-10)
- On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics (2026-09)
- GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis (2026-09)
- Mid-Harness: Scaling Actions Between Model and Harness for Terminal Agents (2026-09)
- Sharpening Tax in Post-Training (2026-10)
- On-Policy Parameter Update Direction Underlies Generalization in LLM Post-Training (2026-09)
- Questioning the Questions: Sustaining Self-Evolution in Reasoning Models (2026-10)
- LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models (2026-09)
- Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL (DARA) (2026-10)
- Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight (SRD) (2026-10)
- Scaling Automatic Research Agents via World Models (2026-08)
- An Open Recipe for IMO Gold: Training Nemotron for Olympiad Mathematics (2026-09)