강화학습(RL)을 통한 SFT 지식 구조화 및 모듈화 기법

최신 언어 모델 포스트 트레이닝(Post-training) 분야에서 강화학습(RL)이 무에서 지식을 스스로 창조하는 것이 아니라, 지도 미세조정(SFT)을 통해 습득한 파편화된 지식을 구조화하고 모듈화하는 과정이라는 학술적 분석이 제시되었습니다.

1. SFT와 RL의 역할적 재정의 (ICML 2026 논문 분석)

  • SFT의 역할: 대량의 추론 트레이스 및 도메인 지식을 넓고 어지럽게 모델 가중치에 쌓아두는 형태의 “지식 원료 공급처” 역할을 담당합니다.
  • RL의 역할: 모델에 인위적으로 새로운 사실 정보를 생성시키는 대신, SFT가 학습한 혼재된 지식을 검증 환경과의 피드백 루프를 돌려 효율적으로 다듬고 재사용 가능한 미세 스킬로 조각내어 정리정돈합니다.
  • From Reasoning Traces to Reusable Skills: 모델이 문제를 해결하기 위해 장황하게 생성하던 추론 흔적(Reasoning Traces)들을 모듈화된 재사용 가능 지식 블록으로 가공함으로써, 실제 추론 시의 효율성과 일반화 성능(Generalization)을 비약적으로 개선합니다.

  • 원본 출처: raw/Untitled 7.md