Hoppa till innehållet
AI-grafen
Logga in
☰ Meny

Mål G Frontier Lab

Multimodala system

Gemensamma vektorrum, vision–language-modeller, dokumentförståelse, multimodal hämtning, video och agenter som ser skärmen — med hallucinations- och säkerhetsmätningar som håller.

Kunskaper
49
Från noll
ca 39 h
Labbar
6
Se vad du redan kan — utan konto

Diagnosen föreslår en startpunkt. Övningarna visar vad du faktiskt kan.

Det här kan du efteråt

Labbar på vägen

Du skriver koden. Tester du inte ser avgör om den håller.

Slutprov: bygg ett spårbart RAG-flödeEsandlåda · ca 75 minLabb: ett neuronnät i ren NumPy — forward, backprop, gradientkontrollDsandlåda · ca 75 minLabb: gradient descent från grundenDi webbläsaren · ca 50 minLabb: matrismultiplikation och ett lager i ett neuronnätDi webbläsaren · ca 45 minLabb: scaled dot-product attention med kausal maskDsandlåda · ca 60 minLabb: semantisk sökning med embeddingsDsandlåda · ca 45 min

Hela vägen

Allt målet bygger på, grupperat per nivå och i den ordning det bygger på varandra. Visa på kartan

AUpptäckare3 kunskaper
  1. Mönster och kategorier
  2. Sekvenser och exakta instruktioner
  3. Heltalsaritmetik och räkneordning
BUtforskare7 kunskaper
  1. Data i vardagen
  2. Algoritmiskt tänkande
  3. Regelbaserade system och maskininlärning
  4. Källkritik och ansvar vid AI-användning
  5. Binära tal och bitar
  6. Träningsdata, features och etiketter
  7. Klassificering: hur en modell sorterar information
CByggare10 kunskaper
  1. Funktioner och koordinatsystem
  2. Programmeringslogik — variabler, villkor, loopar
  3. Python — grunderna
  4. Python — listor, loopar och dictionaries
  5. Statistik — medelvärde, median och spridning
  6. Sannolikhet — grunderna
  7. Digital representation: text, bilder och ljud
  8. Linjär regression: anpassa en rät linje till data
  9. Neuronnät — intuitionen
  10. Promptning — att styra en språkmodell
DAI-utvecklare15 kunskaper
  1. Derivata och optimering
  2. Loss-funktioner
  3. Tokenisering
  4. Gradient descent
  5. Vektorer
  6. Matriser och matrismultiplikation
  7. Neuronnät — forward pass med matriser
  8. Backpropagation
  9. Embeddings — ord som vektorer
  10. Attention
  11. NumPy — arrayer och vektorisering
  12. PyTorch — tensorer och autograd
  13. Retrieval — hitta rätt text
  14. Träna ett neuronnät i PyTorch
  15. Transformers — arkitekturen
EUniversitet8 kunskaper
  1. Bildförbehandling och augmentering
  2. Sekvensmodeller före transformers
  3. Språkmodeller — träning och generering
  4. RAG — retrieval-augmented generation
  5. Vision Transformer (ViT)
  6. Multimodala modeller — grunderna
  7. Verktygsanvändning (tool use)
  8. Agenter — planera, agera, observera
FAI engineering4 kunskaper
  1. CLIP och kontrastiv bild–text-inlärning
  2. Bildbeskrivning och visuella frågor
  3. Dokumentförståelse: OCR, layout, tabeller
  4. Multimodal RAG
GFrontier Lab2 kunskaper
  1. Multimodala agenter och datorstyrning
  2. Videoförståelse