Vlastní data (RAG) pro vašeho AI agenta část druhá - graf znalostí a pokročilé metody

V následující ukázce se budu volně inspirovat metodou GraphRAG, ale určitě se odchýlím, zjednoduším, abychom si to mohli postavit skutečně sami bez magie.

Vycházejme z předpokladu, že u filmů máme opět jen název a popisek, nic dalšího. V realitě filmů bychom některé graph informace měli v datové sadě vytažené rovnou - herce, režiséra apod. Podobně jako v GraphRAG použijme jazykový model (LLM) k extrakci konceptů jako je prostředí, postava, žánr, téma a série.

Na základě toho potom sestavíme celkový graf a pro každý tento koncept vezmeme filmy, které k němu patří a použijeme LLM k vytvoření sumarizace této vlastnosti.

Základním konceptem je vyhledání vstupních uzlů do grafu (nody jsou filmy, žánry a podobné koncepty) a pak nějaké procházení grafu (jdeme po hranách, spojnicích), kde objevujeme další uzly a případně kombinujeme s nějakým snížením počtu nalezených uzlů přes reranking nebo sémantickou podobnost z minulého dílu.

Otázka je, na jaké vstupní body se zaměřit.

Tím to pro dnešek skončí, ale ještě chci připravit další díl, ve kterém budeme s využitím LLM plánovat a iterativně procházet celým procesem podobně, jako je to u metody DRIFT (Dynamic Reasoning and Inference with Flexible Traversal). Tohle, i když ve značně vylepšené a komplikovanější formě, je pod kapotou Deep Research na platformách jako je Perplexity, Google Gemini nebo ChatGPT.

Jako minule, otevřete si prosím k článku patřičný notebook - odkaz na konkrétní dám do každé kapitolky.

Nejprve musíme extrahovat koncepty z popisu filmů. Tady je notebook.

Víceméně jednoduše jdeme film po filmu s jednoduchým promptem:

Extract structured information from the following movie title and overview.

Title: {{title}}
Overview: {{overview}}

Please extract the following information in JSON format:
- genres: [list of genres]
- characters: [list of character names]
- themes: [list of thematic elements]
- setting: [time periods and/or locations]
- series: [list of series or saga names]

If there are no relevant details for a category, return an empty array.

doplněným o structure output, tedy o předvídatelný formát výstupu:

class EnhancedMovie(BaseModel):
    genres: List[str]
    characters: List[str]
    themes: List[str]
    setting: List[str]
    series: List[str]

Všechno naházím do JSON souborů a nakonec z něj vytvořím jeden velký. Výsledek je tady.

Uložení do PostgreSQL hledejte v tomto notebooku.

PostgreSQL má k dispozici speciální extension, která z klasické relační databáze udělá grafovou podporující rozšířený dotazovací jazyk cypher. Alternativou je Gremlin jazyk, ale to tato extension nepodporuje. Místo nějaké specializované databáze typu Neo4J tak můžeme použít Apache AGE, která je kompatibilní s Azure Database for PostgreSQL Flexible Server.

Nejdřív pozakládáme nody typu Movie a následně nody typu Genre, Character, Theme, Setting a Series. Zatím v nich nebude víc, než jméno, například horor nebo Harry Potter. Pak přidáme jejich hrany.

Jdeme do notebooku pro sumarizaci.

V dalším kroku potřebuji pro jednotlivé nalezené koncepty (Sci-Fi, 13. století, Star Wars, Praha, Rytíř, Albert Einstein) udělat sumarizaci, tedy shrnout, co to je. LLM naservíruji seznam příslušných filmů.

U některých konceptů, třeba žánr drama, vyteču z kontextového okna - to jsem pro jednoduchou ukázku nechtěl řešit, tak to prostě oříznu. Ono jich zas tak moc co se nevejdou není.

TASK:
Create a comprehensive summary of the "{{name}}" character archetype based on movies featuring this type of character. Make sure all information is based on the movies in the collection and not on external knowledge.

Instructions:
1. Define essential traits, motivations, and narrative functions of the "{{name}}" archetype.
2. Provide examples of at least 5 movies prominently featuring this archetype.
3. Describe typical audience expectations and emotional responses associated with this archetype.
4. Highlight common narrative arcs and character development patterns involving this archetype.
5. Explain how this archetype typically interacts with specific genres, settings, or themes.
6. Include aggregated data from the movie collection to support your summary.

Vektorizaci uděláme v notebooku.

Tady bylo nutné vyřešit jeden zádrhel. AGE pod kapotou funguje tak, že v PostgreSQL vytvoří tabulku nodů s unikátním ID a atributem properties. Když potom u nodů uložím nějaké jejich parametry, například popis filmu nebo sumarizace konceptu, ukládá to do properties sloupečku jako JSON.

Pokud bych do toho přidal embedding jako vlastnost nodu, skončí to někde uvnitř JSON a nebude možné použít pgvector pro hledání podobností. To je nepříjemný limit, který jsem vyřešil tak, že držím separátní standardní tabulky čistě pro embedding - id a vektor per film nebo koncepty.

Teď přichází velké finále a jdeme odpovídat na otázky. Hledejte v tomto notebooku.

Rozšířil jsem okruh otázek, ať je to zajímavější:

questions = [
    "What movies are about Abby?",
    "I have seen all Star Wars movies and would like tips for something similar I can watch next.",
    "What is the most common genre of the movies where one of key figures is called Mark?",
    "Are there any movies where Prague takes major role and present city as mysterious and ancient?",
    "When movies about drugs are concerned, is it usually rather serious or funny?",
    "What are some movies featuring a strong female lead that also involve adventure?",
    "Which Western films feature outlaws riding to their doom in the American Southwest?"
]

Ty otázky schválně nejsou všechny stejného typu. Některé hledají konkrétní film, jiné podobnost, jiné agregaci a jiné atmosféru.

Jak by to vypadalo, kdybychom využili zmíněné techniky, ale na příkladu Star Wars volili postup ručně?

Nějak takhle funguje deep research a už jsou k tomu i různé open source frameworky nebo designové návrhy, třeba DRIFT. Nicméně stejně jako minule a dnes, pokusím se jen základní myšlenky vzít a poskládat něco od nuly.

Tak zas někdy příště.