Bild: AdobeStock
Forskargrupp AI används idag av samhälle, näringsliv och industri. Förklarande AI handlar om att göra de beslut eller åtgärder som fattas av ett AI-system begripliga för människor som använder systemet. Såväl EU som många länder går nu även i riktning mot att kräva sådan funktionalitet från AI-system.
Allt flera funktioner i vårt samhälle drivs idag av AI-baserade system vilket orsakat oro över hur pålitliga dessa AI-baserade system egentligen är. En grundförutsättning för att man ska kunna lita på AI-system är att göra det möjligt att få en insikt i det bakomliggande resonemanget och kunna få svar på sådana frågor som till exempel, "varför togs detta beslut?", "varför inte?", "vad skulle hända om?" och "varför A och inte B?"
Vi anser att nuvarande forskning inom förklarande AI oftast ignorerar slutanvändarna och snarare riktar in sig sig på skaparna av AI-systemen. I vår forskning strävar vi efter att utveckla metoder som kan motivera och förklara sina beslut och handlingar på ett liknande sätt som människor förklarar för varandra. Detta innebär att vi skapar möjlighet till en dialog där AI-systemet tar i beaktande människors bakgrundskunskap, deras kapacitet att hantera olika mängder information på en och samma gång samt människans reaktioner under dialogens gång.
Beroende på hur AI-system har programmerats eller vilken data som använts för dess inlärning kan systemen innehålla fel, bias eller helt enkelt "åsikter" – precis som människor. Förklarande AI är därför nödvändigt för att verkligen förstå AI-systemets resonemang och kunna bedöma ifall vi håller med om det, eller inte.
Teamet eXplainable Artificial Intelligence (XAI) vid Umeå universitet grundades 2017 av professor Kary Främling i samband med att han tillträdde sin WASP professur inom Data Science, med inriktning på data-analys och maskininlärning. Fokusområdet XAI står i centrum då Främling har varit en mycket aktiv och internationellt erkänd forskare inom artificiell intelligens sedan 1980-talet, med fokus på ämnen som neuralt nätverksinlärning, beslutsstöd för flera kriterier och förstärkningslärande.
Kary Främlings doktorsavhandling från 1996 med titeln "Learning and Explaining Preferences with Neural Networks for Multiple Criteria Decision Making," (på franska: Modélisation et apprentissage des préférences par réseaux de neurones pour l'aide à la décision multicritère") kan anses vara en av de första forskningsinitiativen som uttryckligen tar upp ämnet förklarande artificiell intelligens, inklusive aspekter som robusthet och tillförlitlighet i resonemanget.
En viktig del av teamets forskning grundar sig på metoden Contextual Importance and Utility (CIU) som gör det möjligt att förklara och motivera AI-systems resultat i en viss situation.
