RTS++ 및 GRPO 기반 Text-to-SQL 정렬 기술 (2026.04)

개요

Text-to-SQL의 고질적인 문제인 ‘신뢰성(Reliability)‘과 ‘추론 능력(Reasoning)‘을 강화하기 위해, RTS++ 프레임워크와 GRPO(Group Relative Policy Optimization) 알고리즘이 2026년 상반기 핵심 기술 표준으로 자리 잡았습니다.

핵심 내용

1. RTS++ (Reliable Text-to-SQL) 프레임워크

  • 핵심 기술: **Conformal Prediction (CP)**을 도입하여 모델이 생성한 SQL의 불확실성을 정량적으로 평가.
  • 작동 방식: 모델의 확신이 낮을 경우 사용자에게 검토를 요청하는 ‘Human-in-the-loop’ 구조.
  • 성과: Spider 및 BIRD 벤치마크에서 92% 이상의 실행 정확도 기록.

2. GRPO (Group Relative Policy Optimization)의 표준화

  • 배경: 기존 PPO의 복잡성과 메모리 소모를 해결하기 위해 DeepSeek-R1 등에서 도입된 기법.
  • SQL 적용: 별도의 Critic 모델 없이 그룹 내 상대적 점수를 사용하여 메모리 효율을 극대화. 특히 정답(SQL 실행 결과) 확인이 가능한 작업에서 탁월한 성능을 보임.
  • 이론: “SFT는 기억하고, RL은 일반화한다”는 원칙에 따라, 복잡한 조인(Join)과 중첩 쿼리 성능을 RL을 통해 확보.

3. ORPO (Odds Ratio Preference Optimization)

  • 특징: SFT와 선호도 최적화를 한 단계로 통합하여 VRAM 사용량을 획기적으로 절감. 자원이 제한된 환경에서 DPO의 강력한 대안으로 부상.

AX1센터 R&D 인사이트

  • 신뢰성 파이프라인: 단순히 SQL을 생성하는 것을 넘어, 실행 결과의 불확실성을 판단하여 사용자에게 피드백을 주는 RTS++ 구조를 v3 평가 파이프라인에 도입 검토 필요.
  • 자체 sLM 튜닝: AX1센터 자체 모델 고도화 시, PPO 대신 GRPO 또는 ORPO를 사용하여 학습 효율성과 추론 성능을 동시에 확보해야 함.

참고 및 관련 링크