Vilka ord hör ihop? Uppmärksamhet
Kunna peka ut vilka ord i en mening som behövs för att förstå ett annat ord.
Förkunskaper
- BGissa nästa ordkrävs
Intuition
«Banken låg vid floden.» — vilken bank? Ordet floden avgör: det är en strandkant, inte ett kontor. För att förstå «banken» måste du titta på floden, inte på «låg» eller «vid».
En språkmodell gör detta med uppmärksamhet (attention): för varje ord räknar den ut hur mycket den ska «titta på» varje annat ord. «Banken» → mycket på «floden», lite på «vid».
Ordet den i «Katten jagade musen tills den blev trött» — vem blev trött? Uppmärksamheten avgör, och den kan bli fel — precis som för oss.
Interaktivt
Rita pilar: skriv en mening på ett papper. Välj ett ord. Dra pilar till de ord som behövs för att förstå det, tjockare pil = viktigare.
«Läraren gav eleven boken eftersom hon ville läsa den.»
- «hon» → pil till eleven (troligen — men «läraren» är möjlig).
- «den» → pil till boken.
Gör samma sak med «… eftersom hon var klar med den». Nu pekar «hon» troligen på läraren. Samma ord, annat sammanhang, annan pil. Det är precis vad attention räknar ut.
Behärskning innebär
- Pekar ut vilka ord som behövs för att tolka ett givet ord
- Förklarar att modellen viktar ord olika beroende på sammanhang
Logga in för att göra övningarna och bygga upp din behärskning.
Källor
- arXiv — Attention Is All You Need — arXiv (öppen åtkomst; licens per artikel)
- Wikipedia — Attention (machine learning) (CC BY-SA 4.0) — CC BY-SA 4.0