Datasetdokumentation och datasheets

Ett dataset utan dokumentation är en risk: ingen vet var det kommer ifrån, vad som får göras med det, eller vilka det representerar dåligt.

Datablad (datasheet) — sju rubriker enligt Gebru m.fl.:

1. Motivation — varför skapades det, av vem, finansierat av vem?
2. Sammansättning — vad är en instans, hur många, vilka fält, saknas något?
3. Insamling — hur samlades det in, när, av vilka, med vilket samtycke?
4. Förbehandling — vad har rensats, filtrerats, anonymiserats? Finns rådatan kvar?
5. Användning — vad har det använts till, vad passar det inte till?
6. Distribution — licens, var det finns, restriktioner.
7. Underhåll — vem ansvarar, hur rapporteras fel, hur versioneras det?

Rubriken som oftast fattas — och är viktigast: «vad passar datasetet inte till».

Exempel på ärliga begränsningar:

Insamlat 2023–2024 i Stockholmsområdet, 78 % av annotatörerna var under 30 år. Talspråk och dialekter utanför Mälardalen är underrepresenterade. Datasetet ska inte användas för att bedöma individer, och inte för medicinska beslut.

Den texten förhindrar mer felanvändning än någon teknisk åtgärd.

För personuppgifter tillkommer: rättslig grund, ändamål, lagringstid, hur radering hanteras (och vad som händer med en modell som redan tränats på uppgifterna), samt om datasetet delas utanför EU/EES.

Model cards är motsvarigheten för modeller: avsedd användning, prestanda uppdelad per grupp, kända begränsningar, etiska överväganden. AI-grafen har sitt motsvarande register i content/sources/ med licens, fingeravtryck och ansvarig redaktör per källa — samma idé, maskinläsbar.