Hoppa till innehållet
AI-grafen

Finjustera och driva egna modeller

PEFT och QLoRA, datasetdesign, distribuerad träning, katastrofal glömska, export och ett capstone där du finjusterar och utvärderar på riktigt.

F· AI engineering

Alla kunskaper som ingår (89) — i beroendeordning

  1. 1AMönster och kategorier
  2. 2BData från vardagen
  3. 3AInstruktioner i rätt ordning
  4. 4BAlgoritmiskt tänkande
  5. 5CFunktioner och koordinatsystem
  6. 6DDerivata och optimering
  7. 7CProgrammeringslogik — variabler, villkor, loopar
  8. 8CPython — grunderna
  9. 9CPython — listor, loopar och dictionaries
  10. 10DPython — funktioner, scope och undantag
  11. 11CPython — strängar och textbehandling
  12. 12CPython — filer, CSV och JSON
  13. 13DAPI:er och HTTP
  14. 14DReguljära uttryck
  15. 15BRegler kontra inlärning
  16. 16BKällkritik och ansvar när AI svarar
  17. 17DLicenser och öppna data
  18. 18CStatistik — medelvärde, median och spridning
  19. 19CSannolikhet — grunderna
  20. 20DLoss-funktioner
  21. 21ATal och de fyra räknesätten
  22. 22BBråk, decimaltal och procent
  23. 23AJämföra och sortera tal
  24. 24BKoordinater: hitta på kartan
  25. 25BNegativa tal
  26. 26DTestning med pytest
  27. 27DTokenisering
  28. 28BTräningsdata, features och etiketter
  29. 29CMärk data för hand
  30. 30BKlassificering — så sorterar en modell
  31. 31CDin första prediktiva modell — en rät linje
  32. 32DGradient descent
  33. 33CNeuronnät — intuitionen
  34. 34CPromptning — att styra en språkmodell
  35. 35CExperiment: bra och dålig träningsdata
  36. 36CProjekt: träna en bildklassificerare i webbläsaren
  37. 37CTräna om modellen med egna exempel
  38. 38BVad är generativ AI?
  39. 39BGissa nästa ord
  40. 40CVilka ord hör ihop? Uppmärksamhet
  41. 41COrd som punkter: liknande ord nära varandra
  42. 42DTransformern — översikt utan formler
  43. 43DHur en språkmodell tränas — på gymnasienivå
  44. 44DFinjustering — översikt för gymnasiet
  45. 45CVariabler och algebraiska uttryck
  46. 46CPotenser och rötter
  47. 47DLogaritmer
  48. 48EInformationsteori: entropi och KL-divergens
  49. 49DVektorer
  50. 50DMatriser och matrismultiplikation
  51. 51DLinjär regression med flera features
  52. 52EMatrisfaktorisering och lågrangsapproximation
  53. 53DNeuronnät — forward pass med matriser
  54. 54DBackpropagation
  55. 55DEmbeddings — ord som vektorer
  56. 56DAttention
  57. 57FKvantisering
  58. 58DOverfitting och generalisering
  59. 59DPyTorch — tensorer och autograd
  60. 60DRetrieval — hitta rätt text
  61. 61DTräning, validering och test
  62. 62DTräna ett neuronnät i PyTorch
  63. 63EOptimerare: momentum, Adam, schemaläggning
  64. 64FDistribuerad träning
  65. 65GFSDP, ZeRO och DeepSpeed
  66. 66DTransformers — arkitekturen
  67. 67ESpråkmodeller — träning och generering
  68. 68EModellutvärdering
  69. 69EBygg en eval-harness
  70. 70EFinjustering av språkmodeller
  71. 71FDatasetdesign för finjustering
  72. 72FKunskapsdestillation
  73. 73EInstruktionsfinjustering (SFT)
  74. 74FKatastrofal glömska
  75. 75FLoRA — Low-Rank Adaptation
  76. 76FSlå ihop adaptrar och exportera modeller
  77. 77FParametereffektiv finjustering: adapters, prefix, LoRA
  78. 78FQLoRA
  79. 79ERAG — retrieval-augmented generation
  80. 80FEvals för språkmodeller och agenter
  81. 81FRegressionstester för modeller
  82. 82FFörträning i praktiken
  83. 83FFortsatt förträning på domändata
  84. 84FSkalningslagar
  85. 85FSyntetisk data
  86. 86FTarget modules och rank i LoRA
  87. 87FProjekt F: finjustera och utvärdera en språkmodell
  88. 88EWebbskrapning — teknik och regler
  89. 89FTräningsdata för språkmodeller: filtrering och dedup