Evaluera AI:s prestanda med egna frågor

Hur pålitlig är en AI inom ditt fackområde? Gissa inte — mät.

1. Formulera tio frågor med kända svar som du är säker på.
2. Ställ dem, en i taget, exakt likadant.
3. Bedöm svaren: rätt / fel / delvis.
4. Beräkna andelen rätt. Analysera felen: rör det sig om siffror, namn eller resonemang?

Detta är en evaluering i miniatyr — precis vad AI-företag gör med tusentals frågor. Tio frågor ger en grov bild; hundra ger en bättre.

Bedömningsmall:

#	Fråga	Förväntat svar	AI:s svar	Rätt?
1	Vad är 15 % av 80?	12	12	✔
2	Vilket år slutade andra världskriget?	1945	1945	✔
3	Vem skrev «Mio, min Mio»?	Astrid Lindgren	Astrid Lindgren	✔
4	Hur många kromosomer har en människa?	46	48	✘

Blanda enkla och komplexa frågor, fakta och beräkningar. Ställ samma tio frågor till en annan tjänst — nu har du en rättvis jämförelse.