Uppmärksamhet: hur ord påverkar varandra
Kunna identifiera vilka ord i en mening som är avgörande för att tolka ett specifikt ord.
Intuition
«Banken låg vid floden.» — Vilken bank menas? Ordet floden avgör: det är en strandkant, inte ett kontor. För att förstå «banken» måste du titta på floden, inte på «låg» eller «vid».
En språkmodell gör detta med uppmärksamhet (attention): för varje ord räknar den ut hur mycket den ska «titta på» varje annat ord. «Banken» → mycket på «floden», lite på «vid».
Ordet den i «Kunden ringde till supporten tills den blev trött» — vem blev trött? Uppmärksamheten avgör, och den kan bli fel — precis som för oss.
Interaktivt
Rita pilar: Skriv en mening på ett papper. Välj ett ord. Dra pilar till de ord som behövs för att förstå det, tjockare pil = viktigare.
«Chefens gav medarbetaren rapporten eftersom hon ville läsa den.»
- «hon» → pil till medarbetaren (troligen — men «chefens» är möjlig).
- «den» → pil till rapporten.
Gör samma sak med «… eftersom hon var klar med den». Nu pekar «hon» troligen på chefens. Samma ord, annat sammanhang, annan pil. Det är precis vad attention räknar ut.
Behärskning innebär
- Identifierar vilka ord som påverkar tolkningen av ett givet ord
- Förklarar att modellen tilldelar olika vikter till ord beroende på sammanhang
Förkunskaper
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- arXiv — Attention Is All You Need — arXiv (öppen åtkomst; licens per artikel)
- Wikipedia — Attention (machine learning) (CC BY-SA 4.0) — CC BY-SA 4.0