RAG — retrieval-augmented generation

RAG = hämta relevanta textbitar först, låt modellen svara med dem i prompten. Modellen behöver inte «kunna» era dokument — den läser dem varje gång. Fördelar: uppdaterbart (byt dokument, inte modell), spårbart (svaret kan peka på källan), billigare än finjustering.

Kedjan:

1. Chunka dokument i 200–500 tokens med överlapp, behåll metadata (titel, rubrik, URL).
2. Indexera: embeddings + BM25.
3. Hämta topp-k (5–10) för frågan, gärna hybrid + omrankning.
4. Prompta: «Svara bara utifrån kontexten. Ange källa [1], [2]. Om svaret saknas: säg det.»
5. Mät i två lager: fanns rätt chunk bland topp-k? (retrieval) och var svaret korrekt och grundat? (generering).

De flesta RAG-fel är retrieval-fel. Fixa dem först.

def chunka(text, storlek=400, overlapp=80):
    ord = text.split(); ut = []
    for i in range(0, len(ord), storlek - overlapp):
        ut.append(" ".join(ord[i:i + storlek]))
    return ut

def bygg_prompt(fraga, traffar):
    ctx = "\n\n".join(f"[{i+1}] ({t['kalla']}) {t['text']}" for i, t in enumerate(traffar))
    return ("Svara på frågan ENBART utifrån kontexten nedan. Hänvisa till källor som [n]. "
            "Om kontexten inte räcker, svara: 'Det framgår inte av underlaget.'\n\n"
            f"Kontext:\n{ctx}\n\nFråga: {fraga}\nSvar:")

def rag(fraga, index, llm, k=6):
    traffar = index.hybrid_search(fraga, k=k)          # BM25 + embeddings, RRF
    svar = llm(bygg_prompt(fraga, traffar))
    return {"svar": svar, "kallor": [t["kalla"] for t in traffar]}

# eval i två lager
retrieval_recall = mean(facit_chunk in [t["id"] for t in index.hybrid_search(q, 6)] for q, facit_chunk in testfall)
grundat = mean(domare(svar, kontext) for ...)         # LLM-som-domare: stöds varje påstående av kontexten?