Hoppa till innehållet
AI-grafen
Logga in
☰ Meny

Mål E Universitet

Språkmodeller i praktiken

Tokenisering, sampling, instruktionsmodeller, strukturerad utdata, hallucinationer och svenska — det du behöver för att bygga med en LLM på riktigt.

Kunskaper
70
Från noll
ca 49 h
Labbar
6
Se vad du redan kan — utan konto

Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.

Det här kan du efteråt

Labbar på vägen

Du skriver koden. Tester du inte ser avgör om den håller.

Labb: byte-pair encoding från grundenEsandlåda · ca 60 minLabb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: scaled dot-product attention med kausal maskDsandlåda · ca 60 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 min

Hela vägen

Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan

AUpptäckare4 kunskaper
  1. Mönster och kategorier
  2. Sekvenser och exakta instruktioner
  3. Heltalsaritmetik och räkneordning
  4. Jämföra och sortera värden
BUtforskare11 kunskaper
  1. Data i vardagen
  2. Algoritmiskt tänkande
  3. Regelbaserade system och maskininlärning
  4. Källkritik och ansvar vid AI-användning
  5. Bråk, decimaltal och procent
  6. Koordinater: positioner i ett rutnät
  7. Negativa tal i vardagen och AI
  8. Träningsdata, features och etiketter
  9. Klassificering: hur en modell sorterar information
  10. Generativ AI: hur den skapar innehåll
  11. Språkmodeller och sannolikheter
CByggare15 kunskaper
  1. Funktioner och koordinatsystem
  2. Programmeringslogik — variabler, villkor, loopar
  3. Python — grunderna
  4. Python — listor, loopar och dictionaries
  5. Python — strängar och textbehandling
  6. Python — filer, CSV och JSON
  7. Statistik — medelvärde, median och spridning
  8. Sannolikhet — grunderna
  9. Linjär regression: anpassa en rät linje till data
  10. Neuronnät — intuitionen
  11. Promptning — att styra en språkmodell
  12. Uppmärksamhet: hur ord påverkar varandra
  13. Ord som punkter: liknande ord nära varandra
  14. Variabler och algebraiska uttryck
  15. Potenser och rötter
DAI-utvecklare19 kunskaper
  1. Derivata och optimering
  2. Loss-funktioner
  3. n-gram-språkmodeller
  4. Tokenisering
  5. Textförbehandling
  6. Gradient descent
  7. Kontextfönster, systemprompt och few-shot
  8. Precision, recall, F1 och ROC
  9. Transformern — översikt utan formler
  10. Logaritmer
  11. Vektorer
  12. Matriser och matrismultiplikation
  13. Neuronnät — forward pass med matriser
  14. Backpropagation
  15. Embeddings — ord som vektorer
  16. Attention
  17. PyTorch — tensorer och autograd
  18. Träna ett neuronnät i PyTorch
  19. Transformers — arkitekturen
EUniversitet21 kunskaper
  1. Byte-pair encoding
  2. Resonemang i språkmodeller
  3. Strukturerad utdata och schema
  4. Informationsteori: entropi och KL-divergens
  5. Generativa modeller — översikt
  6. BERT och maskerad språkmodellering
  7. Encoder–decoder-transformers
  8. Multi-head attention i detalj
  9. Attention-varianter: cross, kausal, gles
  10. KV-cache
  11. Språkmodeller — träning och generering
  12. Flerspråkighet och svenska modeller
  13. Hallucinationer — orsaker och motmedel
  14. Bas- kontra instruktionsmodeller
  15. Perplexitet
  16. Sampling: temperatur, top-k, top-p, beam
  17. Sammanfattning och översättning
  18. Språkmodeller för kod
  19. NLP på svenska: resurser och fallgropar
  20. Textklassificering med transformers
  21. Informationsextraktion och NER