Forskningsprojekt Omfattande kunskapsmätningar genomförs regelbundet för att beskriva, jämföra och förstå elevers prestationer inom och mellan länder. I det här forskningsprojektet utvecklas statistiska analysmetoder och modeller för dessa ofta svårtolkade studier.
TIMSS (Trends in International Mathematics and Science Study) och PISA (Programme for International Student Assessment) är sofistikerade och komplexa internationella kunskapsmätningar. Att analyser från dessa studier genomförs på ett bra sätt är viktigt för att åtgärder inom skolområdet ska bli välgrundade. Det övergripande syftet med forskningsprojektet är att skapa effektivare analysverktyg för att bättre kunna utnyttja och förstå de svenska resultaten i TIMSS och PISA. Syftet är vidare att diskutera förklaringsfaktorer till elevers resultatprestation i jämförelse med andra länder samt över tid utifrån ett pedagogiskt perspektiv.
TIMSS (Trends in International Mathematics and Science Study) och PISA (Programme for International Student Assessment) är internationella kunskapsmätningar som genomförs regelbundet för att beskriva, jämföra och förstå elevers prestationer inom och mellan länder. TIMSS och PISA är sofistikerade och omfattande studier, men det gör dem även komplexa och svårtolkade. Det är angeläget att analyser från dessa studier genomförs på ett bra sätt så att slutsatser och utgångspunkter för åtgärder inom
skolområdet blir välgrundade.
Det föreslagna forskningsprojektet syftar till att utveckla analysmetoder och modeller för internationella komparativa studier. Vidare att utifrån relevanta metoder och modeller diskutera förklaringsfaktorer till elevers resultatprestation i TIMSS och PISA i jämförelse med andra länder samt över tid utifrån ett pedagogiskt perspektiv.
I samband med TIMSS och PISA studierna görs en internationell och en nationell resultatredovisning som framförallt består av enkla analysverktyg samt beskrivande statistik. En brist med dessa typer av resultatredovisningar är att data i TIMSS och PISA är hierarkiskt ordnade, dvs. informationen är ordnade utifrån skola, klass och elev. Elever som går i samma klass eller skola kommer från samma geografiska område och har samma lärare, vilket leder till ett beroende mellan dem. Detta skapar problem om man använder modeller och analysverktyg som ignorerar beroendet mellan elever vilket i sin tur kan leda till felaktiga resultat och missvisande slutsatser. Vidare, för att undvika att vissa grupper blir överrepresenterade, tilldelas varje skola, klass och elev en
stickprovsvikt som bör användas i analyser av materialet. Problemet är att dessa vikter inte alltid används vid sofistikerade analyser av data vilket kan leda till felaktiga och missvisande resultat och slutsatser av elevers prestationer.
En komplicerande faktor är att alla elever inte besvarar alla uppgifter som finns i TIMSS och PISA eftersom detta skulle leda till långa prov samt en risk att uppgifterna blir kända, vilket i sin tur kan leda till problem med provens tillförlitlighet. En lösning på detta är att utifrån elevernas bakgrund samt svar på tilldelade uppgifter uppskatta ett totalresultat på provet, dvs. man skapar nya resultatmått (s.k. plausible values). Dessa värden kan användas på olika sätt i analyser men användandet av dem är delvis begränsat trots att de har ett högt informativt värde.
För att göra djuplodande analyser av data i PISA och TIMSS vilka möjliggör trovärdiga pedagogiska analyser bör därför tre områden tas hänsyn till: (1) användandet av de s.k. plausible values, (2) hierarkiska datastrukturen, samt (3) stickprovsvikterna. Det övergripande syftet med projektet att skapa effektivare analysverktyg för att kunna utnyttja TIMSS och PISA studier och förstå deras resultat bättre i Sverige.
