1 of 36

GraphRAG

Chega de mentiras, IA com evidências

Eliézer Zarpelão - Sr Solutions Engineer - Neo4J

2 of 36

Agenda

Grafos
LLMs
GraphRAG
Demo

Eliézer Zarpelão�Sr. Solutions Engineer

2

3 of 36

3

:LOCALIZADA_EM

inicio: 2023-09-18

O que são grafos?

Nós representam entidades

:Pessoa�:EngSol

:Empresa

:Cidade

Nós podem ter zero ou mais rótulos/labels

Relacionamentos representam como as coisas estão relacionadas, conectadas, montadas….

Relacionamento tem direção

Relacionamentos �tem um tipo

:TRABALHA_EM

Nós e relacionamentos podem ter qualquer quantidade de propriedades

nome: Eliézer Zarpelão

nascimento: 19XX-03-01

matricula: 14213

nome: Neo4j

nome: Malmö

4 of 36

Quando eu digo que deixei de te amar…

4

5 of 36

Como funciona as LLMs… 5M pés

5

Quando eu digo que deixei de te amar…

… é porque eu te amo

6 of 36

Limitações LLMs

Knowledge Cutoff

Eventos posteriores ao último treino ficam fora do alcance

Informações desatualizadas

Mesmo corretos no passado, respostas podem não refletir a realidade atual

Alucinações

Podem inventar fatos/citações com segurança excessiva baseada em predição de textos

Ausência de dados privados

Soluções exigem integração segura sem expor informações sensíveis

6

1

3

2

4

Viés, falta de contexto, vulnerabilidade à prompt injection, respostas inconsistentes

7 of 36

Podemos resolver… com supervised finetuning

7

Entrada

Saída desejada

Quando eu digo que deixei de te amar

Quando eu digo que não quero mais você

E nessa loucura de dizer que não te quero

É porque eu te amo

É porque eu te quero

Vou negando as aparências, disfarçando as evidências

8 of 36

Ou com retrieval-augmented generation (RAG)

8

9 of 36

RAG usando busca de similaridade de vetores

9

10 of 36

E o GraphRAG?

Calma, vamos construir nosso grafo de conhecimento primeiro…

10

11 of 36

Construção do Knowledge Graph

Mix dados estruturados e não-estruturados

Dados estruturados com texto longo

Dados não-estruturados

Normalmente PDFs ou outros documentos de texto

Dados estruturados

Dados estruturados com valores de texto curtos

11

12 of 36

Construção do Knowledge Graph

Mix dados estruturados e não-estruturados

Dados estruturados com texto longo

Dados não-estruturados

Normalmente PDFs ou outros documentos de texto

Dados estruturados

Dados estruturados com valores de texto curtos

12

boa metodologia,�boas ferramentas,�comum nas empresas 👍

intrinsecamente difícil, ferramentas imaturas,�Caso "hello world" 😱

boa metodologia,�boas ferramentas, maior parte dos casos reais 👍

13 of 36

Two Types of Knowledge Graphs

Lexical Graph

Uma representação em grafo, por exemplo, de palavras, parágrafos, trechos, documentos e os relacionamentos entre eles

Domain Graph

Uma representação em grafo do mundo real ou digital, ou seja, o domínio que você está modelando

Esses dois não são exaustivos

Também não são mutuamente exclusivos

13

14 of 36

Grafo de conhecimento como base do RAG

Maior capacidade de recuperar e organizar dados contextualmente relevantes, permitindo respostas:

- precisas

- confiáveis

- explicáveis

14

15 of 36

Fluxo GraphRAG

15

16 of 36

Como melhorar a acurácia e recall?

Step-back prompting e outras estratégias de embeddings

16

17 of 36

Step-back prompting

17

Quais músicas de C&X fizeram sucesso em 1990?

Qual o histórico de músicas de C&X fizeram sucesso?

Em 1982, Fio de Cabelo fez sucesso. Em 1989, No Rancho Fundo fez sucesso. Em 1990, Evidências fez sucesso.

Em 1990, Evidências fez sucesso

18 of 36

Basic retriever

Ou:

Vector Retriever
Naive Retriever
Baseline RAG
Basic RAG
Typical RAG

18

19 of 36

Hypothetical Question Retriever

Cria o embedding da pergunta do usuário e compara com embeddings de perguntas já geradas
Recupera os chunks associados às perguntas mais semelhantes (k)
Melhora resultados em relação à busca direta pergunta → texto
Exige pré-processamento

19

20 of 36

Parent-Child Retriever

Chunks menores, vetores melhores

textos curtos trazem embeddings mais significativos

Busca em child chunks

encontra trechos mais próximos da pergunta

Recupera parent chunks

garante contexto mais amplo para resposta

Pré-processamento

dividir em parent e child chunks, criar embedding apenas dos child

20

21 of 36

Query language generation

Convertendo linguagem natural em Cypher (query language)

21

22 of 36

Gerando Cypher a partir da questão

22

Me mostre em grafo o Luciano Huck e as empresas que ele tem sociedade.

23 of 36

Cypher retriever

Cypher Templates

Queries parametrizadas

Dynamic Cypher Generation

Geração usando trechos pré-definidos

Text2Cypher

Queries dinâmicas baseadas no schema

23

24 of 36

1. Maior �precisão

2. Desenvolvimento facilitado

3. Explicabilidade�& Governança

Benefícios do GraphRAG

Many of you may have heard of RAG (Retrieval Augmented Generation). GraphRAG is RAG, where the Retrieval path includes a knowledge graph. GraphRAG relative to vector-only RAG provides 3 important benefits:

Higher accuracy and more complete answers (runtime / production benefit): In addition to the study on the previous slide, Microsoft published a series of posts in February 2024 starting with GraphRAG: Unlocking LLM discovery on narrative private data, along with an associated research paper, and software release. They found that “By using the LLM-generated knowledge graph, GraphRAG vastly improves the ‘retrieval’ portion of RAG, populating the context window with higher relevance content, resulting in better answers and capturing evidence provenance.” They also discovered that GraphRAG required between 26% and 97% fewer tokens than alternative approaches, making it not just better at providing answers, but also cheaper and more scalable.
Once you’ve created your knowledge graph, then it’s easier to both build and subsequently maintain your RAG application because Knowledge graphs are intuitive both conceptually and visually. (development time benefit). Being able to explore them often reveals new insights. An unexpected side benefit that many users are reporting is that once they’ve invested in creating their knowledge graph, they find that it helps them build and debug their GenAI applications in unexpected ways. This has partly to do with how seeing one’s data as a graph paints a living picture of the data underlying the application. The graph also gives you hooks for tracing answers back to data, and tracing that data up the causal chain.
Better explainability, traceability, and access controls (governance benefit): The higher the impact of a GenAI decision, the more you need to be able to convince the person who will ultimately be accountable if it goes wrong to trust the decision. This typically involves being able to audit each decision. It also requires a solid and repeatable track record of good decisions. But that isn’t enough. You also need to be able to explain the underlying reasoning to that person when they call a decision to the mat. LLMs don’t offer a good way of doing this on their own. Yes, you can get references to the documents used to make the decision. But those don’t explain the decision itself – not to mention the fact that LLMs are known to make up those references! Knowledge graphs operate at an entirely different level, making the reasoning logic inside of GenAI pipelines much clearer, and the inputs a lot more explainable.

https://neo4j.com/blog/graphrag-manifesto/

25 of 36

GenAI

Linguagem�Estatísticas�Criatividade

KGs

Conhecimento �Fatos�Contexto

Preciso

Contextual

Explicável

Grafos de conhecimento (KG) desbloqueiam GenAI

26 of 36

26

Caminho das pedras com GraphRAG

discord.gg/graphrag

neo4j.com/labs/genai-ecosystem/

https://www.deeplearning.ai/short-courses/knowledge-graphs-rag/

https://dev.neo4j.com/free-kg-book

https://dev.neo4j.com/kg-builder

https://sandbox.neo4j.com/

https://neo4j.com/essential-graphrag/

https://graphrag.com/

27 of 36

28 of 36

IA Generativa & Neo4J

29 of 36

Grafos são a camada de dados perfeita para IA Generativa

30 of 36

94% dos líderes empresariais concordam que a IA é crítica para o sucesso nos próximos cinco anos

1. Deloitte’s State of AI in the Enterprise

31 of 36

Receio generalizado: Mais da metade dos líderes empresariais atualmente desencorajam a adoção de GenAI.²

Falta de Explicabilidade: Mais de 80% dos executivos se preocupam que a natureza não transparente da GenAI possa resultar em decisões ruins ou ilegais.²

Risco de Imprecisão: Imprecisão e alucinação são dois dos riscos mais citados da adoção da tecnologia GenAI em todos os níveis de uma organização.³

�Gerenciar riscos�é a maior barreira para escalar iniciativas de IA

32 of 36

GenAI

Linguagem�Estatísticas�Criatividade

KGs

Conhecimento �Fatos�Contexto

Preciso

Contextual

Explicável

Grafos de conhecimento (KG) desbloqueiam GenAI

33 of 36

3X

Grafo de Conhecimento melhora a precisão das respostas do LLM em 54,2%, uma média 3 vezes melhor do que apenas SQL

Maior precisão

34 of 36

Benefícios do GraphRAG

1. Maior �precisão

2. Desenvolvimento facilitado

3. Explicabilidade�& Governança

Many of you may have heard of RAG (Retrieval Augmented Generation). GraphRAG is RAG, where the Retrieval path includes a knowledge graph. GraphRAG relative to vector-only RAG provides 3 important benefits:

Higher accuracy and more complete answers (runtime / production benefit): In addition to the study on the previous slide, Microsoft published a series of posts in February 2024 starting with GraphRAG: Unlocking LLM discovery on narrative private data, along with an associated research paper, and software release. They found that “By using the LLM-generated knowledge graph, GraphRAG vastly improves the ‘retrieval’ portion of RAG, populating the context window with higher relevance content, resulting in better answers and capturing evidence provenance.” They also discovered that GraphRAG required between 26% and 97% fewer tokens than alternative approaches, making it not just better at providing answers, but also cheaper and more scalable.
Once you’ve created your knowledge graph, then it’s easier to both build and subsequently maintain your RAG application because Knowledge graphs are intuitive both conceptually and visually. (development time benefit). Being able to explore them often reveals new insights. An unexpected side benefit that many users are reporting is that once they’ve invested in creating their knowledge graph, they find that it helps them build and debug their GenAI applications in unexpected ways. This has partly to do with how seeing one’s data as a graph paints a living picture of the data underlying the application. The graph also gives you hooks for tracing answers back to data, and tracing that data up the causal chain.
Better explainability, traceability, and access controls (governance benefit): The higher the impact of a GenAI decision, the more you need to be able to convince the person who will ultimately be accountable if it goes wrong to trust the decision. This typically involves being able to audit each decision. It also requires a solid and repeatable track record of good decisions. But that isn’t enough. You also need to be able to explain the underlying reasoning to that person when they call a decision to the mat. LLMs don’t offer a good way of doing this on their own. Yes, you can get references to the documents used to make the decision. But those don’t explain the decision itself – not to mention the fact that LLMs are known to make up those references! Knowledge graphs operate at an entirely different level, making the reasoning logic inside of GenAI pipelines much clearer, and the inputs a lot more explainable.

https://neo4j.com/blog/graphrag-manifesto/

35 of 36

Comece agora mesmo

GRATUITAMENTE!

35

https://neo4j.com/cloud/platform/aura-graph-database/

https://graphacademy.neo4j.com/

36 of 36

Obrigado!!!

YouTube

Comunidade Neo4j