Hoppa till innehållet
AI-grafen
E· Universitetsprakmodeller· ca 240 min· utvecklande· verifierad 2026-09-20

Projekt E: ett NLP-system end-to-end

Kunna bygga, utvärdera och servera ett NLP-system med tester och evals.

Förkunskaper

Intuition

Projekt E: ett komplett, körbart NLP-system. Förslag: klassificera inkommande supportärenden (kategori + brådska) och exponera det som API.

Leverabler:

  1. Data: ≥ 800 märkta exempel (egna, syntetiska med granskning, eller öppet dataset), riktlinje, κ på ett stickprov, stratifierad train/val/test.
  2. Baslinjer: majoritet + TF-IDF/LR, tunade.
  3. Modell: finjusterad encoder; macro-F1 med bootstrap-KI; förväxlingsmatris; felanalys av 30 fall.
  4. Tjänst: FastAPI med validering, /healthz, 503-degradering (fall tillbaka till TF-IDF-modellen när transformern saknas!), loggning utan text.
  5. CI: tester + eval-harness med tröskel och regressionslista.
  6. Rapport: hypotes, metod, resultat med osäkerhet, begränsningar, reproducerbarhetsinfo (commit, data-hash, frön).

Interaktivt

Bedömningsmatris (använd den på dig själv innan du lämnar in):

DelGodkäntStarkt
Datasplit utan läckageκ rapporterat, gränsfall i riktlinjen
Baslinjefinnstunad, med KI
Modellslår baslinjenslår den utanför KI, felanalys leder till åtgärd
APIsvarar rättvalidering, 503-fallback testad
CItester grönaeval-tröskel + regressioner blockerar merge
Rapportkomplettnegativa resultat och begränsningar redovisade

Vanligaste bristen: rapporten saknar osäkerhet och baslinjen är otunad. Näst vanligast: fallback finns i koden men har aldrig körts.

Behärskning innebär

  • Bygger ett NLP-system end-to-end: data → finjusterad modell → API
  • Har tester, eval-harness i CI och degraderat läge
  • Rapporterar resultat med baslinje och osäkerhet

Logga in för att göra övningarna och bygga upp din behärskning.

Källor

Alla källor och licenser