NYHET En av pionjärerna inom förklarande AI har tagit fram en avancerad modell som förklarar vad AI egentligen gör. Modellen öppnar AI:s ”svarta låda” och finns tillgänglig för i stort sett alla AI-system. – Den kan nu vara till stor nytta för samhälle och näringsliv för att förstå och förklara beslut som tas av AI, maskininlärningsmodeller och neurala nätverk, säger Kary Främling, professor vid institutionen för datavetenskap.
Det är fullt möjligt att få mer korrekt information, och inte bara en "föraning" om vad som hände eller gick fel i ett AI-system. CIU kan ge stora möjligheter för företag och deras kunder, men också för myndigheter och medborgare, säger Kary Främling, professor i förklarande AI, vid Umeå universitet.
BildMattias PetterssonAI och maskininlärning används av myndigheter, sjukvård, näringsliv och industri. Så kallade djupinlärningsmetoder kan nu diagnostisera patienter i vården, mycket snabbare än människor. Men vad är det som gör att ett AI-system rekommenderar en viss sorts behandling och inte en annan, och hur kommer den fram till sina beslut?
– Explainable AI, eller förklarande AI, är ett område som många är intresserade av men som få känner till, eller behärskar fullt ut. De förklaringsmodeller som finns idag är inte heller tillräckligt begripliga för gemene man, säger Kary Främling, WASP-professor i förklarande AI, vid institutionen för datavetenskap.
Han har utvecklat CIU-metoden, Contextual Importance and Utility, och menar att den är mer effektiv än andra förklaringsmodeller för AI.
– Tyvärr var många forskare kvar i ett visst tankesätt, medan jag tidigt insåg att dessa modeller var för begränsade. I slutet av 1990-talet var dock tiden inte mogen, men jag fortsatte att utveckla CIU-metoden och idag kan jag se att det var ett bra val på lång sikt, säger professor Främling.
Ett AI-system är ett system där en eller flera ingångsvärden ges till en AI-modell eller ett AI-system, som sedan bearbetar informationen och producerar ett eller flera utgångsvärden. Kary Främling använder sin doktorsexamen i Frankrike som exempel. Regionen ville identifiera den optimala platsen för slutförvaring av industriavfall. Tusentals platser sorterades ut med hjälp av maskininlärning och neurala nätverk, och valen gjordes med hänsyn till flera olika kategorier.
– Men vilka var kriterierna för att avgöra om en plats var bra eller inte? Tyvärr var det bara en datavetare som jag som kunde förstå hur AI-systemet resonerade", säger Kary Främling.
Valet av plats måste motiveras, och hänsyn behöver tas till både människor och miljö.
– Man måste också förklara det begripligt på olika sätt. Invånare vill ha en viss sorts information, medan miljöförvaltningen behöver en annan.
Det var där och då som han blev intresserad av att skapa en förklaringsmodell.
– För mig handlar det om att se till att var och en av oss kan förstå sjukhusets beslut, bankens svar på en låneansökan eller en myndighets beslut."
Med CIU-metoden kan man studera och förklara hur en förändring av en eller flera indata – variabler som "ålder", "kön", "arbete" eller "studier" – påverkar slutresultatet.
– Man kan också studera och förklara varje komponent och dess inverkan på resultaten, samt dela upp indata i undersektioner. Det innebär att man kan få en mycket mer specifik förklaring till varför man till exempel inte fick lånet, eller varför man fick det, säger Kary Främling.
AI-system som använder neurala nätverk, så kallade black box AI-system, ansågs tidigare omöjliga att förklara. Därför skapade man så kallade "surrogatmodeller" i ett försök att imitera hur det faktiska AI-systemet fungerade och analysera vad det gjorde. Explainable AI bygger fortfarande på denna idé. CIU skapar dock inte en surrogatmodell. Istället analyserar man AI-modellens funktion utifrån hur outputs varierar som funktion av inputs.
– Detta ger information som kan översättas till begripliga förklaringar och begrepp som vi människor använder för att motivera våra beslut och handlingar, säger professor Främling.
– Det är fullt möjligt att få mer korrekt information, och inte bara en "föraning" om vad som hände eller gick fel i ett AI-system. CIU kan ge stora möjligheter för företag och deras kunder, men också för myndigheter och medborgare, säger Kary Främling.
CIU är implementerat i programmeringsspråken Python och R och dess källkod är offentligt tillgänglig på Github. CIU kan också installeras som ett bibliotek och i princip integreras med vilket AI-system som helst. Modellen kan till och med förklara resultat från "klassiska" AI-system som inte använder maskininlärning. CIU kan även appliceras på tidsserier och språkmodeller, men det är pågående forskning.
