Forskningsprojekt Hög vetenskaplig kvalitet är allt som bidrar till att effektivt generera kunskap, men vad det är specifikt är inte exakt definierat. Det värderas fortlöpande av vetenskapssamhället självt, som via bedömningar i forskningsråds-, anställnings- och priskommittéer och många andra sammanhang styr över tilldelning av forskningsbidrag, publicering av resultat, och selektion av individer till tjänster och utmärkelser. Kvaliteten på dessa bedömningar avgör kvaliteten på den kunskap som produceras.
Syftet med detta projekt är att ta reda på vilka specifika egenskaper hos forskningsinsatsen som experter använder vid sin bedömning, hur dessa bidrar till bedömningar av övergripande vetenskaplig kvalitet, och hur pålitliga alla dessa bedömningar är.
Erik J. Olsson, Filosofiska institutionen, Lunds universitet erik_j.olsson@fil.lu.se
Projektets data består av akademikers skattningar av ett stort antal kvalitetsindikatorer, för var och en av ett urval av vetenskapliga forskningsartiklar. Dessa kvalitetsindikatorer är valda för att så brett som möjligt täcka in begreppet vetenskaplig kvalitet. De är baserade på metodologiska och statistiska hänsyn och av den epistemologiska litteraturen i allmänhet, och kopierade från och inspirerade av tidskrifters egna instruktioner för sin peer-review.
Vetenskaplig kvalitet definieras ytterst av utfallet av verksamheten, men problemet är att verksamheten ofta inte ens har genomförts när bedömningen görs, som vid ansökan om forskningsmedel och anställning av akademiska lärare och forskare. Dessutom kan det dröja decennier innan även publicerad forskning kommer till sin rätt, genom att resultat kommer till nytta eller kanske leder till vetenskapliga genombrott.
Här utvärderas ett instrument som vi har utvecklat, som består av ett 40-tal skalor och flervalsfrågor, som följer de kriterier som vetenskapliga tidskrifter använder för sin peer-review.
Från dessa indikatorer beräknas (1) reliabilitet och validitet, (2) prediktiv validitet i relation till antal citeringar, (3) hur många och vilka dimensioner av kvalitet som tillämpas och (4) hur mycket av de övergripande skattningarna som förklaras av de specifika. Preliminära resultat med ett 20-tal expertbedömare indikerar hög interbedömarreliabilitet och god konvergent validitet. Att kvaliteten på svensk forskning tycks ha sjunkit i relation till flera jämförbara länder under de senaste decennierna gör dessa frågor särskilt angelägna.
