AI-säkerhet och red teaming

Red teaming är att systematiskt försöka få systemet att göra något det inte ska — innan någon annan gör det.

Fyra angreppsytor för ett LLM-system:

Yta	Exempel
Indata från användaren	jailbreak, rollspel, påhittade auktoriteter, kodning/obfuskering
Indata från omvärlden	indirekt prompt injection i dokument, webbsidor, mejl
Verktyg och sidoeffekter	få agenten att skicka, betala, radera, läcka
Utdata	läckt systemprompt, personuppgifter, skadligt innehåll

Strukturen som gör det till mer än pillande: en checklista av angreppsklasser, en poängsättning av fynden, och att varje fynd blir ett evalfall som körs vid varje release.

Klassificera varje fynd i två dimensioner:

	Låg sannolikhet	Hög sannolikhet
Hög skada	åtgärda före release	blockerar release
Låg skada	backlog	åtgärda när tillfälle ges

Sannolikhet = hur lätt är det att utlösa? Ett angrepp som kräver 30 försök av en expert är inte samma sak som ett som utlöses av en vanlig formulering.

Skydd i lager — inget enskilt räcker:

1. Minsta behörighet: modellen har bara de verktyg uppgiften kräver.
2. Mänsklig bekräftelse för allt oåterkalleligt.
3. Indata-/utdatafilter: klassificerare för kända mönster (fångar de enkla fallen).
4. Systemprompt-härdning: hjälper marginellt, kringgås alltid till slut.
5. Strukturell separation: hämtat innehåll märks som data, aldrig som instruktioner.
6. Övervakning och kill-switch: upptäck och stäng av i drift.
7. Evalsvit: varje fynd blir ett permanent testfall.

Etik och legalitet: red-teama bara system du äger eller har skriftligt tillstånd att testa. Dokumentera omfattning och tidsfönster i förväg. Hittar du en sårbarhet i någon annans produkt: ansvarsfull rapportering, inte publicering.

Automatiserad red teaming skalar det manuella arbetet: en angripar-LLM genererar tusentals promptvarianter, en klassificerare bedömer om målmodellen bröt mot policyn, och de lyckade angreppen blir träningsdata eller evalfall (Perez m.fl. 2022). Anthropics och OpenAIs modellkort redovisar numera sådana svit-resultat.

Öppna problem som är värda att känna till:

• Ingen känd metod eliminerar prompt injection. Det är ett strukturellt problem: modellen kan inte skilja instruktion från data.
• Jailbreaks överförs mellan modeller — ett angrepp som fungerar på en modell fungerar ofta på andra (Zou m.fl. 2023), inklusive automatiskt genererade suffix.
• Kapacitetsutvärderingar (farliga förmågor) skiljer sig från beteendeutvärderingar och kräver egna protokoll.

För AI-grafen är den konkreta motsvarigheten: handledaren får inte ge bort facit, inte lämna ämnet för barnkonton, och labbsandlådan ska inte gå att ta sig ur — alla tre testas i m2-check, isolation_check och tutor-evalsviten.