“인간 변호사처럼 생각하기”
LLM 기반 에이전트를 만들다보면, 환각 증상은 끊임없는 난제이다. 비추론 모델에만 의존하면 같은 질문 10번 중에 1-2번 이상하게 답변하여 일관성을 유지하기 어렵고, 그렇다고 추론 모델을 쓰자니 Time/Price Cost 가 높다.
이번에 읽은 논문에서 법률 전문가의 실제 추론 방식을 분석하여 ‘지식 추출’과 ‘지식 적용’을 분리하여 도입했다.
논문에서는 법률 추론 과정을 체계적으로 구조화함에 있어 두 가지 핵심 구성 요소를 활용했다.
-
TBox (Terminological box): 법률 조항에서 핵심 개념, 속성, 규칙을 추출해 컴퓨터가 이해할 수 있는 온톨로지 스키마
-C (Classes): 법률 내 핵심 개념을 정의
-P (Properties): 객체 간의 관계, 속성을 포함하는 집합
-R (Rules): 법률 추론 메커니즘을 1차 논리 규칙으로 표현 -
ABox (Assertional box): 사용자의 질의 텍스트에서 특정 사실과 서술들을 추출하여 TBox의 스키마에 맞게 만듬
결국 이 논문은 AI가 방대한 법률 텍스트를 한 번에 처리하도록 요구하는 대신, 지식 추출과 적용이라는 논리적 구조를 명확히 분리함으로써 답변의 일관성을 획기적으로 높였다.
이는 양질의 AI 답변을 도출하기 위해서는 모델 자체의 성능뿐만 아니라, 논문이 이야기하는 TBox와 같이 정보와 규칙에 대한 구조화된 접근이 필수적이라는 중요한 인사이트를 얻을 수 있었다.
1757233428163.jpeg