NYHET Hur kan vi uppnå mer rättvisa och precisa prov? Ny forskning visar hur avancerad statistik kan göra prov som högskoleprovet både mer rättvisa och träffsäkra. Joakim Wallmark, doktorand vid Handelshögskolan, Umeå universitet, har utvecklat IRTorch, ett nytt verktyg som gör det enklare att utforma tester som bättre speglar deltagarnas verkliga kunskaper.
Utbildningsorganisationer kan säkerställa att deras kunskapsprov ger en rättvis bild av elevers faktiska kunnande
Joakim Wallmarks forskning handlar om att förbättra hur vi analyserar provsvar genom en metod som kallas "Item Response Theory", IRT. Den här metoden används för att förstå sambandet mellan provfrågor och hur bra deltagarna faktiskt är på de saker provet mäter, som till exempel läsförståelse eller matematik. Genom att introducera nya typer av IRT-modell och jämföra med äldre modeller visar Wallmark att de nya modellerna är både mer flexibla och ger mer träffsäkra resultat. Det gör det möjligt att både bedöma provfrågorna bättre och gruppera deltagarna på ett mer rättvist sätt.
– Genom mer tillförlitliga analysmetoder kan utbildningsorganisationer säkerställa att deras kunskapsprov ger en rättvis bild av elevers faktiska kunnande, vilket i slutändan leder till bättre underlag för pedagogiska beslut, säger Joakim Wallmark.
De nya modellerna använder en mer avancerad matematisk formel som gör att de bättre kan anpassas till verkliga provsituationer. Det innebär att provresultaten blir mer precisa i att mäta vad de egentligen ska mäta. Modellerna gör det också möjligt att i exempelvis datorbaserade prov välja ut provfrågor efter hur en person presterat tidigare. Det här gör det möjligt att mäta en persons förmåga eller kunskapsnivå med högsta möjliga precision och effektivitet. Det genom att till exempel ge en svårare fråga om någon redan har svarat rätt på flera svåra frågor.
– IRTorch gör det möjligt att enklare tillämpa avancerade IRT-modeller, vilket gör att kvaliteten på prov kan höjas och provtagare kan rangordnas på ett mer rättvist sätt, säger Joakim Wallmark.
IRT kan även hjälpa till att jämföra resultat från olika prov och se om vissa frågor är orättvisa för specifika grupper som exempelvis baserat på kön eller etnicitet. IRT-modeller används också mycket inom forskning för att simulera provdata för att jämföra och utvärdera nya metoder i olika situationer.
Trots fördelarna med IRT är metoden svårare att förstå än enklare alternativ, som att bara summera poäng från varje provfråga. Därför kan det ibland vara svårt få denna typ av metodik accepterad på bred front menar Wallmark.
Men i framtiden kan IRTorch bland annat hjälpa till att identifiera om vissa frågor är orättvisa för specifika grupper eller säkerställa att prov mäter vad de faktiskt är avsedda att mäta. Det innebär att de här forskningsresultaten kan få betydelse för hur kunskapsprov kommer att kunna används framöver.
– Min avhandling bidrar till en fördjupad förståelse av hur kunskapsnivåer kan mätas mer träffsäkert, vilket banar väg för framtida förbättringar inom utbildning och provutveckling, säger Wallmark.
– Jag är inte helt hundra på vad jag kommer att göra efter disputationen än, men mest troligt kommer jag fortsätta med forskning.
Om disputationen:
Joakim Wallmark, Handelshögskolan, försvarar sin avhandling med den svenska titeln "Vidareutveckling och tillämpningar av item response theory" (Engelsk titel: Extensions and applications of item response theory)
Dag: Fredag 7 februari 2025
Tid: 09:30 - 12:00
Plats: Hörsal HUM.D.220 - Hjortronlandet
