이론적으로, 검색 증강 생성(RAG)의 개념은 꽤 일반적이다 - 기본적으로, 우리가 사용자의 쿼리에 대한 관련 정보를 검색하고 그것을 우리의 프롬프트에 포함할 때마다, 우리는 일종의 RAG를 하고 있다. 그러나 실제로, RAG 시스템이 관련 컨텍스트를 어떻게 검색하는지에 많은 중점을 두고 있다. 나는 컨텍스트를 가져오는 가장 흥미롭고 아마도 가장 유망한 방법은 지식 그래프 통한 것이라고 생각한다. RAG 시스템이 문맥의 출처가 순전히 소스 문서 자체의 텍스트일 때 높은 수준의 개념적 질문에 답할 때 좋은 성능을 제공하기는 어렵습니다. 더 높은 수준의 결론은 일반적으로 하나의 프롬프트에 엄청난 양의 코퍼스 텍스트를 포함해야만 얻을 수 있습니다. 직관적으로, 우리가 문서에서 지식 그래프를 구축할 때, 우리는 이러한 높은 수준의 결론을 잘 정의된 구조로 ‘사전 계산’하고 있다. 따라서 더 높은 수준의 질문에 대한 답변을 용이하게 하기 위해 RAG 시스템에 지식 그래프를 포함해야 한다고 제안합니다.
높은 수준에서, GraphRAG는 실제로 3가지 별개의 작업의 조합입니다:
-
- 자동화된 지식 그래프 생성
-
- 지식 그래프에서 관련 정보 검색하기
-
- LLM 텍스트 생성에 관련 지식 그래프 정보 포함
과제 2와 3의 수행은 주로 지식 그래프의 품질에 의해 결정되기 때문에, 우리가 집중할 주요 개념은 지식 그래프의 자동 생성입니다.
지식 그래프
그렇다면 ‘지식 그래프’는 정확히 무엇입니까? 지식 그래프는 엔티티와 엔티티 간의 관계를 사용하여 정보를 모델링하는 방법입니다. 그래프의 보다 일반적인 정의에서, 지식 그래프의 각 엔티티는 노드이며, 각 관계는 두 노드 사이의 레이블이 지정된 가장자리와 같다. 다음 문구를 고려하십시오.
‘리암은 망고를 좋아한다’
그리고
‘리암은 석류를 좋아하지 않는다’
우리가 이 정보에 적용할 수 있는 합리적인 그래프 구조는 아마도 3개의 엔티티(노드)와 2개의 가장자리를 가질 것이다:
지식 그래프의 요점은 무엇입니까?
그렇다면 왜 이런 식으로 정보를 모델링하는 것을 귀찮게 합니까? 프로그래밍 방식으로 작업하기 위해 정보에 대한 구조를 적용해야 한다는 점을 고려하십시오. 게다가, 그래프는 수학에서 깊이 연구된 구조이기 때문에, 우리는 엄청난 양의 수학을 활용하여 지식 그래프를 분석할 수 있다.
다음
- wiki/RAG/GraphRAG - Part 2 - Implementation
- wiki/RAG/GraphRAG - Part 3 - Querying and Conclusion
- wiki/RAG/GraphRAG - Part 4 - Microsoft Implementation
GraphQA: 자연어 그래프 분석 프레임워크
GraphQA는 자연어 그래프 분석 프레임워크로, 사용자가 자연어를 사용하여 그래프 데이터에 대한 질문을 할 수 있도록 합니다. SQL이나 그래프 쿼리 언어 없이도 그래프를 분석할 수 있게 해주며, 복잡한 그래프 데이터셋을 자연어 대화로 변환합니다.
주요 특징은 다음과 같습니다:
- 자연어 이해: 사용자의 질문을 이해하고 적절한 NetworkX 알고리즘을 자동으로 선택합니다.
- 스키마 불가지론적 지능: 데이터 구조에 대한 가정을 하지 않고, 임베딩 기반 분석을 통해 속성을 의미론적 개념에 매핑합니다.
- 5가지 전문화된 도구: Graph Exp[1]lorer, Graph Query, Graph Statistics, Node Analyzer, Algorithm Selector를 사용하여 그래프 분석을 수행합니다.
- 지능형 알고리즘 선택: 그래프 크기, 성능 선호도, 컨텍스트에 따라 최적의 NetworkX 알고리즘을 선택하고 구성합니다.[1]
- NetworkX 통합: Python의 그래프 분석 표준인 NetworkX를 기반으로 구축되어 500개 이상의 NetworkX 알고리즘에 즉시 접근할 수 있습니다.
- 인메모리 성능: 전체 그래프를 시스템 메모리에 로드하여 빠른 쿼리 및 대화형 분석을 제공합니다.
- 사용자 정의 데이터[1] 로더: 어떤 그래프 데이터셋이든 GraphQA 생태계로 가져올 수 있도록 사용자 정의 데이터 로더를 생성할 수 있습니다.
설치 및 사용을 위해서는 Python 3.8 이상과 OpenAI API 키가 필요하며, git clone https://github.com/catio-tech/graphqa.g[1]it 명령어를 통해 저장소를 복제한 후 python quickstart.py를 실행하여 대화형 설정을 진행할 수 있습니다.
출처: 원본 링크
추출된 URL:
https://github.com/catio-tech/graphqahttps://github.com/catio-tec[1]h/graphqa.githttps://github.com/catio-tech/graphqa/issues