Forskningsprojekt Standardiserade kunskapsprov används för urval till högre utbildning (ex. högskoleprovet), vid betygssättning, för att jämföra elevers prestationer (ex. nationella prov), eller för certifiering (ex. körkortsprov). Kunskapsprov ges till olika grupper vid olika tillfällen och för att undvika att provuppgifterna blir kända i förväg används flera olika provversioner.
För att kunna ge rättvisa prov till provtagarna är det viktigt att undersöka uppgifternas egenskaper (ex. hur svåra uppgifterna är) innan man sätter ihop ett prov, och att vi har metoder för att kunna jämföra provtagarnas resultat från olika provversioner som har getts vid olika tillfällen. Syftet med detta projekt är att utveckla innovativa statistiska metoder för att analysera standardiserade kunskapsprov så att vi säkerställer tillförlitliga, valida och rättvisa provresultat över tid för alla provtagare.
Marianne och Marcus Wallenberg: 6 000 000 SEK
Jorge González, Associate professor
Alina von Davier, Adjunt professor and ACT Senior Vice President
Syftet med detta projekt är att utveckla innovativa statistiska metoder för att analysera standardiserade kunskapsprov så att vi säkerställer tillförlitliga, valida och rättvisa provresultat över tid för alla provtagare. Projektet är betydelsefullt eftersom användningen av standardiserade kunskapsprov ökar i samhället och resultaten kan vara avgörande för människors livsval.
Forskningen kommer bedrivas kring tre teman.
I det första temat utvecklas innovativa metoder för att säkerställa att prov är jämförbara, oavsett vilken typ av provpoäng som används eller om provtagargruppens sammansättning förändras över tid. Tidigare forskning har ofta utgått från att det är betydelselöst hur provtagargruppen är sammansatt när man utför en s.k. ekvivalering dvs. den statistiska process som används för att bestämma jämförbarheten i provpoäng mellan olika provversioner. Det har dock visat sig ha betydelse och vi måste därför skapa metoder där vi kan hantera detta genom att exempelvis använda annan information.
Det andra temat fokuserar på hur man ska pröva ut nya uppgifter innan de kan användas i ett skarpt prov eftersom det är viktigt att veta hur uppgifterna fungerar för att kunna sätta samman likvärdiga och rättvisa prov för alla provtagare. Målet är att ta fram riktlinjer för hur man på bästa sätt kan pröva ut uppgifter för att få bra information till både provtagare och provkonstruktörer utan att provtagarna vet att de besvarar en utprövningsuppgift.
Det tredje temat fokuserar på standardiserade kunskapsprov som ges vid ett stort antal provtillfällen till många provtagare. Tidigare forskning har framförallt fokuserat på prov som ges vid få tillfällen. En utmaning är att säkerställa att provuppgifter inte blir kända i förväg för presumtiva provtagare eftersom det riskerar att provets egenskaper förändras. Vidare att undersöka hur man ska välja mellan olika metoder och vilka val man bör göra inom de olika metoderna. Detta är viktigt eftersom val av metod för att jämföra provpoäng påverkar provtagarnas provresultat och därmed i slutändan t.ex. om de blir antagna till ett universitet.
Projektet är inriktat på metodologisk grundforskning och genomförs i tre steg. I steg ett skapas analytiska statistiska modeller och metoder. I steg två undersöks metoderna under kontrollerade förhållanden med hjälp av simulerat data där man kan variera förutsättningarna, exempelvis provens längd, provtagarnas förmåga, och uppgifternas egenskaper. I steg tre appliceras metoderna på standardiserade kunskapsprov från tre olika länder.
Forskningsresultaten och all programmeringskod kommer att göras fritt tillgängliga så att de kan användas av provutvecklare, myndigheter och forskare som ansvarar för att konstruera, analysera och utvärdera standardiserade kunskapsprov.
