Kontextfönster, systemprompt och few-shot

Modellen ser bara det som får plats i kontextfönstret (t.ex. 8 k–200 k tokens): systemprompt + historik + din fråga + dokument. Allt utanför finns inte.

• Systemprompt sätter roll, regler och format — den gäller hela samtalet.
• Few-shot: 2–5 exempel på in → ut styr formatet bättre än beskrivningar.
• Strukturerad utdata: be om JSON med ett schema → programmet kan läsa svaret.

Placering: modeller är bäst på början och slutet av kontexten («lost in the middle»). Lägg instruktioner först, det viktigaste dokumentet sist, frågan allra sist.

messages = [
  {"role": "system", "content": "Du klassificerar kundmeddelanden. Svara ENDAST med JSON: {\"kategori\": \"faktura|teknik|annat\", \"brådskande\": true|false}."},
  {"role": "user", "content": "Min faktura är dubbelt så hög som vanligt"},
  {"role": "assistant", "content": '{"kategori": "faktura", "brådskande": false}'},
  {"role": "user", "content": "Appen kraschar varje gång jag loggar in!!"},
  {"role": "assistant", "content": '{"kategori": "teknik", "brådskande": true}'},
  {"role": "user", "content": "Hur byter jag lösenord?"},
]
# → '{"kategori": "teknik", "brådskande": false}'
import json; svar = json.loads(text)   # validera alltid — och ha en fallback om det inte är JSON

Budget: räkna tokens (tokenizer) innan anrop; klipp historiken från början, aldrig systemprompten.