I detta kapitel besvaras delfrågan om Skolinspektionens regelbundna tillsyn och kvalitetsgranskning av bedömning och betygssättning leder till minskad avvikelse mellan betyg och resultat på nationella prov i grundskolan.
Riksrevisionens övergripande svar på delfrågan är att Skolinspektionens granskande verksamhet har relativt liten påverkan på likvärdigheten i betygssättningen, i termer av avvikelsen mellan provresultat och betyg. I svenska och matematik visar registeranalysen inga effekter på avvikelsen mellan betyg och provresultat av den granskande verksamheten. I engelska finns dock en liten effekt av tillsyn. Det är viktigt att framhålla att effektutvärderingar av denna typ baseras på olika antagande som inte fullt ut kan undersökas, vilket gör att resultaten bör tolkas med försiktighet.
Skolinspektionen uppger i intervjuer att de inte har tillräckligt stöd i skollagen för att tillsyna själva avvikelsen och att de inte kan komma åt den inom tillsynen. Den förändring som gjordes 2018 i skollagen om att de nationella proven särskilt ska beaktas ger inte heller tillräckligt stöd för att den ska kunna användas för att granska avvikelsen mellan betyg och provresultat genom tillsynen.
Vår bedömning är därför att Skolinspektionen är i behov av bättre förutsättningar för att kunna påverka likvärdigheten i betygssättningen. Ett formaliserat avvikelsemått på skolnivå kan exempelvis ge sådana förutsättningar. Ett sådant mått kan göra det möjligt för Skolinspektionen att i sin granskande verksamhet påverka skolor med stora avvikelser. Vidare bedömer vi att en mer utvecklad uppföljning inom kvalitetsgranskningen kan påverka likvärdigheten.
Avsnitt
- 5.1 Lagstiftningen är inte tillräckligt konkret för att Skolinspektionen ska kunna tillsyna avvikelser
- 5.2 Tillsynen påverkar avvikelsen mellan betyg och resultat på nationella prov i grundskolan i liten utsträckning
- 5.3 Ingen mätbar påverkan av kvalitetsgranskningarna på avvikelsen mellan betyg och provresultat
5.1 Lagstiftningen är inte tillräckligt konkret för att Skolinspektionen ska kunna tillsyna avvikelser
Lagstiftningen är inte så konkret som skulle behövas för att Skolinspektionen ska kunna tillsyna avvikelser mellan betyg och resultat på nationella prov. Ett formaliserat avvikelsemått på skolnivå kan exempelvis ge sådana förutsättningar.
Utredare vid Skolinspektionen uppger att det är svårt att komma åt avvikelser genom tillsynen, så länge skolorna presenterar rimliga förklaringar till avvikelserna. De uppger också att lagstiftningen inte är tillräckligt konkret för att Skolinspektionen ska komma åt om betygen är rätt satta eller inte. Eftersom det inte är reglerat i skollagen hur mycket betyg och provresultat får avvika från varandra kan inte Skolinspektionen granska själva avvikelsen mellan betyg och provresultat inom tillsynen. För att kunna tillsyna själva avvikelsen skulle Skolinspektionen behöva gå ned på individnivå och överpröva betygen, vilket skollagen inte medger.[150]
Vidare uppger utredare vid Skolinspektionen i intervjuer att det är svårt att leda i bevis att skollagen inte följs i de fall där avvikelserna mellan provresultat och betyg är stora. Om eleverna är nöjda med sina betyg och lärarna tycker att de gjort en rättvis bedömning har Skolinspektionen inga ytterligare verktyg att ta till.[151]
Även om Skolinspektionen inte direkt tillsynar avvikelsen mellan betyg och resultat på nationella prov kan de granska det som kan vara orsaken till avvikelserna, exempelvis att betyg sätts av obehöriga lärare eller annat som ryms inom skollagen[152], ifall betygen sätts korrekt från betygskatalogen, hur betygen fördelas eller om läraren bedömer elevernas kunskaper allsidigt.[153] Att särskilt beakta de nationella proven vid betygssättningen ingår dessutom i Skolinspektionens bedömningsunderlag vid regelbunden tillsyn.[154]
Intervjuade utredare på Skolinspektionen uppger att en stor avvikelse mellan betyg och resultat på nationella prov inte enskilt föranleder tillsyn. Kunskapsresultat, studiemiljö och skolledning är de tre områden som väger tyngst i modellen som används för att välja ut skolor för tillsyn. Avvikelsen är dock en av flera kontrollvariabler i Skolinspektionens risk- och väsentlighetsanalys som beaktas vid urvalet för tillsyn. Även om man ser allvarligt på avvikelser menar Skolinspektionen att de kommer åt frågan bättre inom den regelbundna kvalitetsgranskningen.[155]
År 2020 kom en dom i Högsta förvaltningsdomstolen (HFD), som utredarna uppger har försvårat tillsynsverksamheten. Bakgrunden är att Skolinspektionen hade konstaterat brister hos en huvudman gällande deras systematiska kvalitetsarbete. Myndigheten förelade huvudmannen vid vite att åtgärda bristerna inom angiven tid. Då bristerna inte åtgärdats ansökte Skolinspektionen hos förvaltningsdomstolen om att vitet skulle dömas ut. Enligt HFD var vitesföreläggandet inte tillräckligt preciserat, då det i princip endast återgav den allmänt hållna regleringen i skollagen.[156] Skolinspektionen skriver i sin årsredovisning från 2020 att myndigheten har ett pågående arbete med att analysera domen och avgöra hur den kommer att påverka deras tillsynsverksamhet.[157]
I våra intervjuer beskrivs en osäkerhet kring hur utredarna kan skriva förelägganden till följd av domen.[158] Förelägganden som rör vaga formuleringar i skollagen, blir alltså svårare att utfärda, även om det förekommer brister. Till exempel beskriver en av våra intervjupersoner att utvecklingssamtal ska hållas minst en gång varje termin är lättare att skriva fram föreläggande på, eftersom det är en faktor som är mer konkret inom området bedömning och betygssättning.[159]
Myndighetens samlade bild är dock at det som reglerar området bedömning och betygssättning är tillräckligt konkret för att utfärda föreläggande utifrån, även om det kan finnas mindre delar som är svårare.[160]
5.2 Tillsynen påverkar avvikelsen mellan betyg och resultat på nationella prov i grundskolan i liten utsträckning
Vi har i föregående avsnitt visat att Skolinspektionen inte kan granska själva avvikelserna mellan betyg och resultat på nationella prov inom tillsynen då detta inte är reglerat i skollagen. Skolinspektionen granskar dock sådant som kan orsaka avvikelser mellan betyg och resultat på nationella prov. Vi analyserar därför registerdata för att undersöka om tillsynen av bedömning och betygssättning har några mätbara effekter på avvikelsen.
Vår analys visar att Skolinspektionens tillsynsverksamhet endast har en liten påverkan på avvikelsen mellan provresultat och betyg. Vi finner inga effekter av tillsynen på avvikelsen mellan betyg och provresultat i ämnena matematik och svenska. I engelska ser vi dock att tillsynen tycks minska avvikelsen något. Resultaten visar att i engelska minskar den absoluta avvikelsen med endast 0,2 poäng ett år efter att skolan fått kritik. I de intervjuer med utredare på Skolinspektionen som beskrivs i föregående avsnitt berättar de intervjuade om svårigheten att komma åt avvikelser med hjälp av rådande lagstiftning.
En observerad förändring i avvikelsen kan bero på olika faktorer. Det kan vara fråga om en förändring i rättningen av prov eller en förändring i betygssättningen, eller en kombination av faktorerna. Vi gör därför ytterligare analyser av betyg och provresultat för att undersöka om det finns några skillnader mellan de olika utfallen som kan förklara den observerade effekten på den absoluta avvikelsen. Analyserna som redovisas i tabell 3 visar inga signifikanta förändringar på vare sig betyg eller provresultat.
Tabell 3 Effekt av att få kritik på punkten bedömning och betygssättning i Skolinspektionens tillsynsverksamhet
Absolut avvikelse | Avvikelse | Betyg | Provbetyg | |
|---|---|---|---|---|
Engelska | -0,207** (0,0801) | 0,00416 (0,106) | -0,110 (0,222) | -0,00295 (0,125) |
Antal observationer | 1 746 | 1 746 | 1 746 | 1 746 |
Svenska | -0,236 (0,174) | 0,096 (0,320) | 0,105 (0,285) | -0,121 (0,422) |
Antal observationer | 1 697 | 1 697 | 1 697 | 1 697 |
Matematik | -0,231 (0,231) | -0,280 (0,245) | -0,233 (0,258) | 0,142 (0,381) |
Antal observationer | 936 | 936 | 936 | 936 |
Källa: Riksrevisionens bearbetning av data från SCB.
Anm.: Standardfel klustrade på skola inom parentes. * = p < 0,05. ** = p < 0,01. *** = p < 0,001.
Den signifikanta negativa effekten av tillsyn i ämnet engelska är något förvånande eftersom avvikelsen mellan betyg och provresultat är liten i detta ämne.[161] En möjlig förklaring är att engelska avviker från övriga ämnen. I engelska ger lärare i större utsträckning ett lägre betyg än vad provresultatet i engelska visar. Det finns indikationer på att lärare anser att nivån på det nationella provet i engelska är för låg i förhållande till betygskriterierna.[162] Vidare vet vi från våra intervjuer att lärare hellre friar än fäller, det vill säga att man hellre höjer betyg än sänker dem.[163] En möjlig förklaring är att lärarna är mer benägna att höja betyg i engelska vid kritik från Skolinspektionen än att sänka betyg i andra ämnen. Vilket skulle kunna förklara varför kritik endast får en mätbar effekt på engelska.
Vi har även gjort analyser där vi delar upp urvalet utifrån exempelvis om huvudmannen är enskild eller kommunal samt utifrån föräldrars utbildningsnivå. Resultaten redovisas i bilaga 3.
För att komma fram till resultaten analyseras grundskolor som inspekterades inom Skolinspektionens regelbundna tillsynsverksamhet 2015–2019.[164] Vi undersöker om kritik på bedömningspunkten bedömning och betygssättning påverkar avvikelsen mellan betyg och provresultat.[165] Vi jämför sedan med inspekterade skolor som inte fått kritik på punkten bedömning och betygssättning. Vi fokuserar på den absoluta avvikelsen eftersom lärare kan avvika både uppåt och nedåt i sin betygssättning i förhållande till de nationella proven men använder även nettoavvikelsen, betyg och provbetyg som utfall.[166] I matematik är avvikelsen nästan alltid positiv, medan den varierar i svenska och engelska.[167]
Den absoluta avvikelsen mellan betyg och resultat på nationella prov
Vi använder den absoluta avvikelsen eftersom vi är intresserades av att se om det sker en förändring i avvikelsen efter inspektion. Om vi, i ett mycket förenklat exempel, har två klasser på en och samma skola där varje klass består av en elev och en lärare. Båda eleverna skriver C på det nationella provet. Den ena läraren sätter ett A i betyg och den andra sätter E. Vidare antar vi att det i detta fall är just C som är det rättvisa betyget för båda eleverna.
Den genomsnittliga absoluta avvikelsen på skolan kommer i detta fall att uppvisa en avvikelse medan nettoavvikelsen inte gör det. Om sedan lärarna efter att ha inspekterats av Skolinspektionen korrigerar sin betygssättning så att eleverna exempelvis får B respektive D i betyg och likvärdigheten ökar fångas detta av den absoluta avvikelsen men inte av nettoavvikelsen.
Vi förväntar oss att avvikelsen ska minska på de skolor som fått kritik på punkten bedömning och betygssättning.[168] Det ska dock framhållas att analyserna antar att kritik inom området bedömning och betygssättning ska påverka förhållandet mellan provresultat och betyg, vilket inte nödvändigtvis är det som har genererat kritiken, men då det inte finns ett bättre mått att tillgå använder vi det.
Urvalet är avgångselever i årskurs 9 i grundskolan och ett krav är att skolorna ska finnas med under hela den studerade perioden, 2014–2019. Vi förväntar oss inte att betygssättningen ska förändras samma år utan först i betygssättningen året efter granskning.
När vi jämför inspekterade skolor som fått kritik på området bedömning och betygssättning med inspekterade skolor som inte fått kritik finner vi inte några större skillnader mellan skolorna.[169] Avvikelsen mellan betyg och provresultat är större i den behandlade gruppen i ämnena matematik och svenska, vilket förfaller naturligt men skillnaden är bara signifikant i matematik. De är något större skolor och en större andel elever med svensk bakgrund på de skolor som fått kritik när det gäller betygssättningen. Föräldrarna har något lägre utbildningsnivå i de skolor som fått kritik. Enskilda och kommunala huvudmän är relativt jämnt fördelade i båda grupperna.
5.3 Ingen mätbar påverkan av kvalitetsgranskningarna på avvikelsen mellan betyg och provresultat
Vi finner inget stöd för att Skolinspektionens regelbundna kvalitetsgranskning har någon påverkan på betygssättningen i termer av avvikelsen mellan betyg och provresultat.[170] Inte i något ämne visar kvalitetsgranskningen på signifikanta effekter, vara sig på den absoluta avvikelsen, nettoavvikelsen, provresultat eller betyg. Resultaten ska dock tolkas med viss försiktighet. Då regelbunden kvalitetsgranskning infördes först 2018 och det inte genomfördes några nationella prov under 2020 finns inte en lika lång tidsperiod att analysera.[171] Vidare läckte det nationella provet i matematik 2018, vilket gör det problematiskt att analysera avvikelser för ämnet matematik.
Frånvaron av mätbara effekter kan delvis bero på att avvikelsen inte följs upp. Vi bedömer därför att en mer utvecklad uppföljning inom kvalitetsgranskningen kan påverka likvärdigheten. I dag ska de skolor som har fått bedömning och betygssättning som utvecklingsområde vid en kvalitetsgranskning endast inkomma med ett skriftligt svar om vilka åtgärder de har vidtagit, eller tänker vidta. Därefter gör Skolinspektionen en bedömning av om det är tillräckligt för att komma till rätta med problemen. Här kan en mer utvecklad uppföljning ge en bättre efterlevnad av utpekade utvecklingsområden hos huvudmän och skolor, då det är relativt enkelt att undersöka hur avvikelsen mellan betyg och provresultat utvecklas på skolan efter inspektion. Riksrevisionen har även i en tidigare rapport påvisat brister i Skolinspektionens uppföljning.[172] Den sammanfattande bedömningen var att uppföljningen inte alltid säkerställde att alla identifierade brister blev avhjälpta inom tillsynen.