I. 서론: LLM과 지식 그래프의 시너지
지식 그래프는 비정형 데이터를 구조화된 표현으로 변환하여 핵심 엔터티, 관계 및 패턴을 매핑함으로써 고급 시맨틱 분석, 추론 및 추론을 가능하게 합니다1. 이러한 구조화된 지식은 다양한 분야에서 정보 검색, 의사 결정 및 자동화된 추론을 향상시키는 데 중요한 역할을 합니다. 특히 대규모 언어 모델(LLM)의 발전은 자연어 처리 분야에 혁명을 일으켰습니다. LLM은 방대한 양의 텍스트 데이터를 학습하여 언어의 미묘한 뉘앙스와 문맥을 이해하고, 비정형 텍스트에서 직접 엔터티와 관계를 추출할 수 있는 강력한 능력을 보여줍니다2.
LLM과 지식 그래프의 결합은 인공지능 역량을 크게 향상시킬 수 있습니다. 지식 그래프는 LLM에게 구조화되고 사실적인 정보를 제공하여 환각 현상을 줄이고 답변의 정확성을 높입니다3. 반대로 LLM은 지식 그래프 구축 과정을 자동화하고 확장하는 데 중요한 역할을 합니다. 특히 상향식 접근 방식에서 LLM은 원시 데이터로부터 지식을 추출하고 조직하는 데 뛰어난 성능을 발휘합니다.
점점 더 많은 양의 비정형 데이터가 생성됨에 따라 지식 추출 및 조직을 위한 효율적인 방법이 필수적입니다. LLM은 지식 그래프 구축을 자동화하고 확장할 수 있는 유망한 방법을 제시합니다. 이러한 통합은 전통적인 규칙 기반 자연어 처리 방법에서 벗어나 더 큰 유연성과 적응성을 제공하는 패러다임의 전환을 의미합니다2. 따라서 LLM을 활용한 지식 그래프의 상향식 구축은 데이터 중심의 지식 발견 및 관리를 위한 중요한 연구 분야로 부상하고 있습니다.
II. 상향식 지식 그래프 구축 이해
상향식 지식 그래프 구축은 개방형 데이터 소스에서 엔터티와 관계를 추출하고 엔터티 연결과 같은 기술을 사용하여 정보를 병합함으로써 점진적으로 그래프를 구축하는 접근 방식입니다8. 이는 사전 정의된 온톨로지로 시작하는 하향식 접근 방식과 대조됩니다. 상향식 방법에서는 데이터에서 스키마가 개발됩니다9. 새로운 엔터티 유형과 관계가 발견됨에 따라 온톨로지가 발전합니다.
상향식 접근 방식은 웹 콘텐츠, 과학 문헌 및 소셜 미디어와 같은 다양한 데이터 소스에서 지식을 추출하는 데 적합하며10, 대량의 데이터를 처리하고 광범위한 지식 그래프를 빠르게 생성할 수 있다는 장점이 있습니다10. 반면, 전통적인 상향식 구축 방법은 자연어 처리 파이프라인(개체명 인식, 관계 추출 등)을 사용하여 엔터티와 관계를 식별하는 데 많은 수동 작업과 도메인 전문 지식이 필요했습니다2. 이러한 방법은 종종 특정 도메인에 맞춰 개발되었으며, 새로운 데이터나 도메인에 적용하기 어려웠습니다.
상향식 접근 방식은 사전 정의된 스키마를 미리 만들기가 어렵거나 불가능한 대규모의 다양한 데이터 세트를 처리할 때 특히 유용합니다. 데이터에서 직접 패턴과 구조를 발견하는 능력은 탐색적 지식 그래프 구축에 적합합니다. 그러나 유연성을 제공하는 동시에 추출된 지식의 품질과 일관성을 보장하는 데 어려움이 있어 상당한 후처리 및 인간 검증이 필요했습니다6. LLM은 이러한 전통적인 상향식 방법의 한계를 극복하고 지식 추출 프로세스를 자동화하며 정확성을 향상시킬 수 있는 잠재력을 가지고 있습니다.
III. LLM 기반 상향식 구축의 단계별 방법론
LLM을 사용한 비정형 데이터로부터 지식 그래프를 구축하는 간단하면서도 강력한 3단계 접근 방식이 연구되었습니다1. 첫 번째 단계는 LLM을 사용하여 텍스트에서 노드와 관계를 추출하는 것입니다1. 입력 데이터를 LLM에 전달하고 추출할 노드와 관계를 결정하도록 합니다. LLM에게 이름, 유형 및 속성을 포함한 특정 형식으로 추출된 엔터티를 반환하도록 요청합니다1. LLM의 컨텍스트 창 제한을 처리하기 위해 큰 입력 텍스트는 더 작고 관리하기 쉬운 청크로 분할되며, 청크 간의 문맥을 유지하기 위해 일부 중복이 발생할 수 있습니다1. 다양한 청크에서 엔터티 유형 레이블의 일관성을 유지하기 위해 LLM에 이전 청크에서 추출된 노드 유형 목록을 제공하여 추출된 “스키마”를 형성하고 최종 레이블의 균일성을 향상시킵니다1.
두 번째 단계는 엔터티 디스앰비규에이션입니다. 텍스트를 청크 단위로 처리할 때 발생할 수 있는 중복 엔터티 문제를 해결하기 위해 LLM을 다시 사용합니다1. 엔터티는 먼저 유형에 따라 집합으로 구성됩니다. 그런 다음 각 집합을 LLM에 제공하여 동일한 실제 객체를 참조하는 엔터티를 식별하고 병합합니다. 이는 초기 추출 단계에서 약간 다른 이름이나 속성이 할당되었더라도 수행됩니다1.
마지막 단계는 LLM에서 추출 및 디스앰비규에이션된 구조화된 데이터를 Neo4j와 같은 그래프 데이터베이스로 가져오는 것입니다1. LLM의 출력을 파싱하고 다양한 노드 및 관계 유형에 해당하는 별도의 CSV 파일로 변환합니다. 이러한 CSV 파일은 Neo4j 데이터 가져오기 도구와 호환되도록 포맷되어 실제 데이터베이스로 가져오기 전에 데이터를 미리 볼 수 있습니다1. 일부 파이프라인에는 스키마를 필터로 제공하여 LLM이 결과에 포함해야 하는 노드, 관계 및 속성의 유형을 제한하는 옵션이 포함되어 있습니다1.
청크 전략과 청크 간의 중복 정도는 추출된 지식의 품질과 엔터티 디스앰비규에이션의 효과에 큰 영향을 미칠 수 있습니다. 청크는 큰 텍스트를 처리하는 데 필요하지만, 중복이 부족하면 청크에 걸쳐 있는 관계를 놓칠 수 있고, 너무 큰 청크는 LLM의 정확한 추출 능력을 저하시킬 수 있습니다. 이 과정에서 형성되는 “추출된 스키마”는 상향식 접근 방식의 핵심 특징인 창발적 온톨로지로 볼 수 있습니다. 지식 그래프의 구조는 LLM의 분석을 통해 데이터에서 유기적으로 발생합니다.
IV. LLM을 사용하여 텍스트에서 노드 및 관계를 추출하는 기술
LLM을 사용하여 텍스트 데이터에서 노드와 관계를 추출하는 가장 간단한 방법 중 하나는 입력 데이터를 LLM에 전달하고 노드와 관계를 식별하도록 요청하는 것입니다1. LLM에게 이름, 유형 및 속성을 포함한 특정 형식으로 추출된 엔터티를 반환하도록 프롬프트합니다1. 프롬프트 엔지니어링은 중요한 역할을 하며, “다음 텍스트에서 엔터티와 그 관계를 추출하시오”와 같은 특정 쿼리를 사용하여 LLM을 안내합니다2.
LLM은 주변 텍스트의 문맥을 기반으로 엔터티를 식별하는 문맥적 엔터티 인식과 명시적으로 언급되지 않은 엔터티 간의 암시적 연결을 이해하는 관계 추론을 수행할 수 있습니다2. 일반적인 기술은 모든 명명된 엔터티와 그 관계를 식별하고 JSON 형식으로 출력하도록 LLM에 일반적인 프롬프트를 사용하는 것입니다11. 프롬프트에 예제를 제공하면 LLM이 원하는 작업과 출력 형식을 이해하는 데 크게 도움이 될 수 있습니다11. 이는 소량의 예시를 통해 LLM의 동작을 유도하는 퓨샷 학습의 효과를 보여줍니다.
도메인별 지식 그래프의 경우 LLM을 해당 도메인의 관련 데이터 세트에 대해 추가로 학습(미세 조정)하여 특정 엔터티 및 관계에 대한 엔터티 및 관계 추출의 정확성을 향상시킬 수 있습니다2. 일부 프레임워크에서는 특정 도메인에서 결함 엔터티 및 관계를 생성하기 위해 템플릿 기반 프롬프트와 템플릿 없는 프롬프트의 조합을 사용합니다13.
프롬프트의 선택은 추출된 정보의 품질과 유형에 큰 영향을 미칩니다. 효과적인 지식 그래프 구축을 위해서는 신중한 설계와 프롬프트 실험이 필수적입니다. LLM은 제로샷 추출을 수행할 수 있지만, 명확한 출력 형식이나 몇 가지 예시를 제공하는 것만으로도 결과의 정확성과 일관성을 크게 향상시킬 수 있습니다.
V. LLM 생성 지식 그래프의 정확성 및 일관성 개선
LLM에서 생성된 지식 그래프의 정확성과 일관성을 개선하는 데는 여러 가지 기술이 사용됩니다. 엔터티 디스앰비규에이션은 LLM이 식별한 중복 엔터티를 병합하는 데 중요합니다1. LLM 자체는 동일한 엔터티를 참조하는 노드를 이해하는 능력 덕분에 엔터티 디스앰비규에이션에 사용될 수 있습니다1. LLM의 출력 형식이 요구 사항과 다른 경우 후처리가 필요할 수 있습니다6. 일부 LLM의 JSON 모드 또는 함수 호출을 사용하면 출력을 특정 형식으로 제한하여 구조를 개선할 수 있습니다. 미세 조정을 통해 JSON 출력을 생성하도록 모델을 학습할 수도 있습니다6.
지식 그래프에서 노이즈가 많은 트리플을 감지하고 정제하기 위해 LLM_sim이라는 새로운 방법이 제안되었습니다14. 정확성을 평가하는 기술에는 사실 지식 평가, 추론 평가, 일관성 분석, 해석 가능성 분석, 인간 평가 및 오류 분석이 포함됩니다7. 개선 기술에는 지식 그래프 정제(정리, 중복 제거, 유효성 검사), 완성(누락된 정보 채우기) 및 유지 관리(업데이트 및 수정)가 포함됩니다7.
LLM의 확률적 특성으로 인해 추출된 지식에 불일치 및 부정확성이 발생할 수 있습니다. 지식 그래프의 신뢰성을 보장하려면 강력한 정제 기술이 필수적입니다. 특히 민감한 도메인에서는 인간의 검증 및 큐레이션이 지식 그래프의 정확성과 품질을 보장하는 데 중요할 수 있습니다. 자동화가 목표이지만, 인간의 평가 및 큐레이션의 필요성은 정제 프로세스에서 인간 전문 지식이 여전히 중요하다는 것을 시사합니다.
VI. LLM을 사용하여 기존 지식 그래프 확장 전략
LLM을 사용하여 기존 지식 그래프를 확장하는 여러 가지 전략이 있습니다. LLM에 새로운 데이터에서 새로운 엔터티와 관계를 추출하고 기존 지식 그래프를 업데이트하도록 프롬프트할 수 있습니다7. LLM을 사용한 지식 그래프 완성 기술은 기존 패턴을 기반으로 누락된 구성 요소를 예측하고 추가할 수 있습니다7. 언어 모델 지원 지식 그래프 인구 조사는 엔터티 및 관계 추출, 사실 생성과 같은 작업에 LLM을 활용하여 지식 그래프를 확장하는 데 도움이 됩니다7. 이는 LLM이 지식 그래프의 성장에 기여하는 공생 관계를 강조합니다.
언어 모델 출력을 기반으로 지식 그래프를 정제하고 확장하는 기술을 개발하면 지속적인 개선 및 확장 주기가 가능해집니다7. 고급 지식 그래프 임베딩 모델을 탐색하면 복잡한 관계 패턴을 더 잘 포착하여 링크 예측을 통한 확장을 용이하게 할 수 있습니다7.
새로운 정보의 지속적인 유입은 강력하고 자동화된 지식 그래프 확장 전략을 필요로 합니다. LLM은 이러한 역동적인 프로세스를 위한 강력한 도구를 제공합니다. LLM이 데이터 스트림에서 새로운 정보를 추출하는 능력은 지식 그래프를 최신 상태로 유지하고 성장시키는 데 적합합니다. 자동화된 확장과 품질 관리의 균형을 맞추는 것은 부정확하거나 일관성 없는 정보가 지식 그래프에 도입되는 것을 방지하는 데 중요합니다. LLM은 확장을 자동화할 수 있지만, 그래프의 무결성을 유지하기 위해서는 정제 및 유효성 검사가 여전히 중요합니다.
VII. 자동 정제 및 확장을 위한 도구 및 프레임워크
LLM을 사용한 지식 그래프의 자동 정제 및 확장을 용이하게 하는 여러 도구와 프레임워크가 등장했습니다. GraphAware Hume은 메타 그래프 생성 및 유효성 검사를 포함하여 KG 구축을 위해 LLM을 활용하는 사전 구성된 워크플로를 제공합니다11. LLM Knowledge Graph Builder는 문서를 전처리하고, 엔터티와 관계를 추출하여 Neo4j에 저장하며, 커뮤니티 요약 및 다양한 검색 기능을 제공하는 오픈 소스 도구입니다12. EDC는 사전 정의된 스키마 유무에 관계없이 작동할 수 있으며 정제 단계를 포함하는 유연하고 성능이 뛰어난 LLM 기반 지식 그래프 구축 프레임워크입니다17. SparqLLM은 원시 데이터에서 구축된 지식 그래프의 쿼리를 향상시키기 위해 검색 증강 생성(RAG) 솔루션을 사용합니다18. AutoKG는 여러 LLM 에이전트 간의 반복적인 대화를 사용하여 KG의 구축 및 추론 프로세스를 자동화합니다19.
전문 도구 및 프레임워크의 출현은 LLM 기반 지식 그래프 구축의 성숙도와 중요성이 증가하고 있음을 나타냅니다. 다양한 기능을 제공하는 여러 도구의 존재는 활발한 개발 영역과 자동화된 솔루션의 필요성에 대한 인식을 시사합니다. 다양한 도구는 다양한 수준의 자동화 및 제어 기능을 제공하여 다양한 요구 사항과 전문 지식 수준을 충족합니다. Hume, LLM Knowledge Graph Builder 및 EDC와 같은 도구의 기능을 비교하면 다양한 설계 철학과 대상 사용자를 알 수 있습니다.
VIII. LLM 기반 상향식 지식 그래프의 사례 연구 및 응용 분야
GraphRAG는 LLM 생성 지식 그래프를 사용하여 RAG의 검색 부분을 향상시켜 개인 데이터 세트에 대한 질문 응답 성능을 개선합니다6. Microsoft Research의 GraphRAG는 지식 그래프를 통해 분리된 정보를 연결하고 대규모 데이터 세트에 대한 시맨틱 개념을 이해하는 데 향상된 정확성을 보여주었습니다20. 이메일, 캘린더, 채팅 및 문서에서 활동 중심 지식 그래프를 구축하기 위해 LLM을 사용하는 프레임워크는 작업 우선 순위 지정 및 회의 준비와 같은 워크플로를 개선합니다21. LLM은 비정형 텍스트에서 복잡한 관계를 포착하여 산업 시스템의 결함 진단을 위한 지식 그래프를 만드는 데 사용할 수 있습니다13. 지식 그래프 기반 사고(KGT) 프레임워크는 LLM을 지식 그래프와 통합하여 생물의학 질문 응답의 정확성을 높였으며, 약물 재배치 및 내성 연구에 대한 사례 연구가 있습니다22. Llama-3 모델을 사용한 실험에서는 뉴스 문서에서 지식 그래프를 생성했으며, 미세 조정을 통해 트리플 추출의 정확성이 향상되었습니다6.
LLM 기반 상향식 지식 그래프는 정보 검색 및 기업 지식 관리에서 생물의학 및 산업 진단과 같은 전문 분야에 이르기까지 다양한 도메인에서 응용 프로그램을 찾고 있습니다. 이러한 사례 연구의 성공은 전통적인 지식 그래프 구축 방법의 한계를 극복하고 새로운 응용 프로그램을 가능하게 하는 LLM의 잠재력을 강조합니다. 다양한 사례 연구에서 보고된 정확성 및 효율성 향상은 LLM 사용의 가치 제안을 시사합니다.
IX. 하향식 접근 방식과 비교한 상향식 접근 방식의 장단점
하향식 구축은 사전 정의된 온톨로지로 시작하여 특히 도메인별 지식에 대한 구조와 일관성을 제공합니다9. 그러나 하향식 접근 방식은 경직되어 빠르게 진화하는 데이터에는 적합하지 않을 수 있습니다10. 반면, 상향식 접근 방식은 민첩하고 다양한 데이터 소스를 처리할 수 있으며 데이터에서 스키마를 개발합니다9. 상향식 방식은 대량의 데이터를 처리하고 광범위한 지식 그래프를 빠르게 생성할 수 있습니다10. 상향식 방식의 과제는 종종 도메인 전문가의 입력이 필요한 엔터티 및 관계에 대한 적절한 합리적 주장 및 표현을 보장하는 것입니다10. 하이브리드 접근 방식은 상향식 및 하향식 방법을 결합하여 핵심 온톨로지를 구축한 다음 추가 데이터를 통합합니다8.
상향식과 하향식 접근 방식 중 선택은 특정 사용 사례, 잘 정의된 도메인 온톨로지의 가용성 및 데이터의 특성에 따라 달라집니다. 두 접근 방식의 비교는 서로 다른 강점과 약점을 강조하며, 최적의 선택은 상황에 따라 달라짐을 시사합니다. LLM은 주로 비정형 데이터에서 지식 추출을 자동화하고 정확성을 향상시켜 상향식 접근 방식을 개선하는 데 사용됩니다. LLM은 하향식 접근 방식의 온톨로지 정의에도 도움이 될 수 있지만, 현재 주요 영향은 상향식 방법의 데이터 기반 지식 발견에 있습니다.
다음 표는 상향식 및 하향식 지식 그래프 구축의 비교를 제공합니다.
| 특징 | 상향식 접근 방식 | 하향식 접근 방식 |
| 온톨로지 정의 | 데이터에서 진화 | 사전 정의 |
| 데이터 소스 | 다양함 (웹 콘텐츠, 과학 문헌 등) | 구조화되고 통제됨 |
| 스키마 개발 | 데이터 기반 | 사전 정의 |
| 유연성 | 높음 | 낮음 |
| 확장성 | 높음 | 낮을 수 있음 |
| 데이터 일관성 | 과제 | 높음 |
| 사용 사례 | 탐색적 지식 발견, 대규모 데이터 처리 | 도메인별 지식, 구조화된 데이터 표현 |
| LLM의 역할 | 지식 추출 및 정제 자동화, 정확성 향상 | 온톨로지 정의 지원 가능성이 있지만 주로 지식 인스턴스 채우기에 사용됨 |
X. LLM 기반 지식 그래프 구축의 과제 및 잠재적 솔루션
LLM 기반 지식 그래프 구축에는 여러 가지 과제가 있습니다. 예측 불가능한 LLM 출력 형식, 속도 제한 및 잠재적인 책임 부족이 포함됩니다1. 구조화된 KG와 유연한 LLM 출력 간의 정렬 및 일관성을 보장하는 것은 어려울 수 있습니다15. 대규모 지식 그래프의 실시간 쿼리는 계산 비용이 많이 들 수 있습니다15. 데이터가 증가함에 따라 KG와 LLM 모두 지속적인 업데이트가 필요하므로 확장성이 중요한 과제입니다15. LLM에서 생성되는 환각 및 부정확성을 처리하는 것은 여전히 주요 과제입니다12. LLM은 노이즈가 많은 정보, 도메인별 지식 및 정확한 관계 생성에 어려움을 겪을 수 있습니다24.
잠재적인 솔루션에는 반복적인 프롬프트, 도메인별 데이터에 대한 LLM 미세 조정, 스키마 제약 조건 사용 및 후처리 기술 적용이 포함됩니다6. LLM 출력을 검증하거나 설명을 제공하기 위해 지식 그래프를 활용하는 것은 환각에 대한 잠재적인 해결책입니다15.
LLM은 상당한 이점을 제공하지만, 지식 그래프 구축에 통합하는 데에는 어려움이 따릅니다. 이러한 문제를 해결하는 것은 신뢰할 수 있고 효과적인 시스템을 구축하는 데 중요합니다. 기술적 솔루션(예: 프롬프트 엔지니어링, 미세 조정)과 아키텍처 고려 사항(예: 확장 가능한 인프라, 검증 메커니즘)의 조합이 이러한 과제를 극복하는 데 필요합니다.
XI. 결론 및 향후 방향
LLM을 활용한 상향식 지식 그래프 구축은 비정형 데이터에서 지식을 추출하고 조직하는 데 강력한 접근 방식을 제공합니다. LLM의 자연어 이해 및 생성 능력은 전통적인 방법에 비해 효율성, 유연성 및 확장성을 향상시킵니다. 단계별 방법론, 다양한 정보 추출 기술, 정제 및 확장 전략, 그리고 사용 가능한 도구 및 프레임워크를 통해 이 보고서는 이 분야에 대한 심층적인 개요를 제공합니다. 다양한 도메인에서 LLM 기반 상향식 지식 그래프의 성공적인 사례 연구는 그 실질적인 이점과 영향을 보여줍니다.
향후에는 LLM 기능의 발전, 더욱 정교한 도구 및 프레임워크 개발, 그리고 새로운 응용 분야 탐색과 같은 LLM 기반 지식 그래프 구축의 새로운 트렌드가 예상됩니다. LLM 생성 지식 그래프의 정확성 및 일관성 향상, 보다 효과적인 정제 및 확장 기술 개발, 그리고 확장성 및 실시간 쿼리 과제 해결과 같은 분야에서 추가 연구가 필요합니다.
결론적으로 LLM을 활용한 상향식 지식 그래프 구축은 데이터 중심의 지식 발견 및 관리를 위한 유망하고 빠르게 발전하는 분야입니다. 지속적인 연구 개발을 통해 이 접근 방식은 다양한 분야에서 인공지능 시스템의 기능을 더욱 향상시킬 것으로 기대됩니다.�니다.