FIPO: DeepSeek-R1 GRPO를 능가하는 새로운 강화학습 알고리즘
날짜: 2026-04-08 출처: Alibaba Qwen Team / The Decoder
요약
알리바바 Qwen 팀이 발표한 **FIPO(Future-KL Influenced Policy Optimization)**는 DeepSeek-R1의 GRPO 방식의 한계를 극복하고 추론 능력을 극대화한 강화학습 알고리즘입니다.
핵심 내용
- GRPO의 문제점: 최종 결과에 기반한 균등 보상 배분으로 인해 추론 체인의 정교함이 부족함.
- FIPO의 혁신: 각 토큰이 이후 추론에 미치는 ‘미래 영향력’을 계산하여 토큰 단위로 보상을 차등 배분.
- 성능:
- 추론 토큰 길이를 4,000개에서 10,000개 이상으로 확장.
- 수학 벤치마크(AIME 2024)에서 DeepSeek-R1-Zero 능가 (정확도 58%).
- 공개 계획: Qwen 팀은 해당 훈련 시스템 전체를 오픈소스로 공개할 예정.