Google Cloud의 Text-to-SQL 기술 개선 방법
이 블로그 게시물은 Google Cloud의 텍스트-투-SQL(Text-to-SQL) 기술과 그 개선 방법에 대해 설명합니다. Gemini와 같은 대규모 언어 모델(LLM)은 자연어를 SQL로 변환하여 개발자와 분석가의 생산성을 높이고 비기술 사용자도 데이터에 접근할 수 있도록 돕습니다. 이 기능은 BigQuery Studio, Cloud SQL Studio, AlloyDB AI, Vertex AI 등 다양한 Google Cloud 제품에서 제공됩니다.
텍스트-투-SQL 기술의 주요 과제
- 비즈니스별 컨텍스트 제공: LLM이 정확한 SQL을 생성하려면 스키마, 데이터, 비즈니스 의미론 등 명시적 및 암시적 컨텍스트가 필요합니다. 모델 미세 조정은 확장성이 떨어지므로, 데이터 검색 및 인컨텍스트 학습이 중요합니다.
- 사용자 의도 이해: 자연어는 SQL보다 모호하며, LLM은 모호한 질문에 대해 환각을 일으킬 수 있습니다. 시스템은 명확하지 않은 질문에 대해 추가 질문을 통해 사용자 의도를 명확히 해야 합니다.
- LLM 생성의 한계: LLM은 복잡한 SQL 사양을 정확히 따르는 데 어려움을 겪을 수 있으며, SQL 방언 간의 차이점도 관리해야 합니다.
Google Cloud의 해결 기술
- SQL 인식 모델: Gemini 모델을 기반으로 하며, 특정 SQL 방언에 대한 미세 조정을 포함합니다.
- LLM을 사용한 모호성 해소: 명확하지 않은 질문에 대해 추가 질문을 생성하여 사용자 의도를 명확히 합니다.
- 검색 및 인컨텍스트 학습: 벡터 검색을 통해 관련 데이터셋, 테이블, 열을 식별하고, 스키마 주석, SQL 예시, 쿼리 기록 등 추가 컨텍스트를 LLM에 제공합니다.
- 유효성 검사 및 재프롬프트: 쿼리 구문 분석이나 드라이 런과 같은 비-AI 접근 방식을 사용하여 생성된 SQL을 검증하고, 오류가 발견되면 모델에 피드백을 주어 수정합니다.
- 자기 일관성: 여러 쿼리를 생성하고 그중 가장 좋은 것을 선택하여 정확도를 높입니다.
Google Cloud는 BIRD-bench와 같은 학술 벤치마크와 자체 합성 벤치마크를 사용하여 텍스트-투-SQL 시스템의 성능을 지속적으로 평가하고 개선하고 있습니다.