NYHET Hur kan vi säkerhetsställa att system baserade på artificiell intelligens (AI) utför uppgifter så att det blir rätt? Enligt Anton Eklund, Institutionen för datavetenskap, Umeå universitet, måste människan alltid finnas med i utvärderingsprocessen. I sitt avhandlingsarbete har han tagit fram ett utvärderingsramverk för att stötta organisationer i dessa typer av processer.
Anton Eklund, Institutionen för Datavetenskap.
BildHanna NordinSka en artikel om stavhopparen Mondo Duplantis världsrekord klassas som sport, friidrott eller stavhopp? När Mondo Duplantis nu nämns två gånger — blir detta då automatiskt en sportartikel? De flesta skulle nog inte kalla detta en sportartikel, men ett AI-system kan lätt göra det misstaget, menar Anton Eklund, industridoktorand vid Institutionen för datavetenskap, Umeå universitet.
Tillsammans med kollegor har han därför utvecklat ett utvärderingsramverk som kallas “Cluster Interpretation and Precision from Human Exploration” (CIPHE).
— Genom CIPHE låter vi människor bedöma om ett AI-system har grupperat artiklar på ett bra sätt eller inte. Deltagarna i bedömningen får också karaktärisera artiklarna utifrån mänskliga aspekter såsom känslomässig reaktion eller uppskattad samhällspåverkan.
Anton berättar att det är absolut nödvändigt att ta fram metoder för att utvärdera AI-system så att de ska kunna användas med tillit i industrin eller som verktyg i offentlig sektor.
— Det behövs kontinuerlig mänsklig insats någonstans i kedjan, särskilt för uppgifter som saknar definitiva svar såsom mänsklig uppfattning, tolkning eller känsla, säger han.
Som industridoktorand har Anton varit anställd vid startupbolaget Aeterna Labs. Bolaget utför så kallad kontextuell annonsering, vilket betyder att man placerar reklamannonser bredvid passande artiklar baserat på dess innehåll. Detta skiljer sig från mer konventionell typ av annonsering där användarens data analyseras och presenterar annonser efter tidigare preferenser.
— För att kunna dela in nyheter i olika ämnen automatiskt har jag använt liknande språkmodeller som exempelvis ChatGPT är byggd på. Eftersom kategoriseringen sker i syfte att användas för att placera reklam så behöver kvalitén av kategorierna kontrolleras av människor innan de kan säljas till annonsörer, menar Anton.
Det blir allt vanligare att utvärdera AI-system med hjälp av just AI, men detta innebär också en utmaning: man har ofta sämre insyn i om systemet gör rätt utifrån mänskligt perspektiv. Kvaliteten på utvärderingen är därför inte garanterad, och det blir svårare att justera och anpassa processen. Med det nya ramverket är detta inget problem.
— I CIPHE kan vi anpassa vad som räknas som godkända kategoriseringar, vilket gör det möjligt att skräddarsy ramverket för specifika miljöer och kontexter, säger Anton.
Torsdag den 3 april försvarar Anton Eklund, Institutionen för datavetenskap, sin avhandling med titeln ”Utvärdering av dokumentkluster genom mänsklig tolkning.” Disputationen äger rum kl. 13:15 i UB.A.230 Lindellhallen 3.
Läs hela avhandlingen