I detta kapitel svarar vi på delfråga ett och två. Vi granskar om Skolverket arbetar på ett lämpligt sätt för att tillgodose behovet av kvalitetssäkrad statistik när det gäller underlag för skolval, underlag för fördelning och uppföljning av resurser samt underlag för forskning och utredning. Vi granskar också om Skolverket informerar om sin statistik på ett sätt som gör att statistiken tillgängliggörs och används i avsett syfte.
Våra viktigaste iakttagelser är:
- Delar av Skolverkets statistik, som fyller viktiga funktioner, lever inte upp till de kvalitetskriterier vi har stämt av emot. Det riskerar att försämra effektiviteten i statliga insatser.
- Skolverkets framtagande av officiell statistik stäms inte av på ett systematiskt sätt mot användarnas behov.
- Skolhuvudmännen uppfattar att Skolverkets statistik i hög grad är tillgänglig. Skolverket informerar dock inte aktivt om de underliggande statistiska nyckelvärdena samtidigt som det i vår granskning framkommer ett sådant behov.
Avsnitt
- 3.1 Bedömningsgrunder
- 3.2 Skolverkets statistik avsedd som underlag inför skolval
- 3.3 Varierad uppfattning om kvaliteten i statistiken till skolvalet
- 3.4 Skolverkets statistik för uppföljning av skolor
- 3.5 Skolverkets statistik som underlag för bedömning av skolor utifrån socioekonomiska överväganden
- 3.6 Skolverkets statistik som underlag för uppföljning och utvärdering av skolor genom forskare och utvärderare
- 3.7 Skolverkets klassificering av vad som är och vad som inte är officiell statistik
- 3.8 Informerar Skolverket om sin statistik på ett sätt som gör att statistiken tillgängliggörs och används i avsett syfte?
3.1 Bedömningsgrunder
För att svara på frågorna har vi bedömt om statistiken är saklig, det vill säga att uppgifterna kvalitetssäkras på ett lämpligt sätt. Att den är relevant och jämförbar - att Skolverket har undersökt behov av statistik hos användarna och att uppgifterna om olika skolor går att jämföra. Vi bedömer också om statistiken är lättförståelig och lättillgänglig för dem som ska använda den.
När vi granskar hur Skolverkets statistik fungerar som underlag för fördelning och uppföljning av resurser bedöms frågan mot statistiklagens kriterier (se kapitel 2). Vi bedömer också om Skolverket har en strukturerad process för att kommunicera statistiken och hur den är tänkt att användas, och om huvudmän uppfattar statistiken för skolval som trovärdig. Vi undersöker om webbplatsen för skolval kommuniceras och används av kommuner och enskilda huvudmän, och om den är enkel att använda och förstå.
3.2 Skolverkets statistik avsedd som underlag inför skolval
Skolverket tillhandahåller information inför skolval genom webbplatsen Utbildningsguiden. En omfattande förstudie föregick framtagandet av Utbildningsguiden. Utformningen av denna styrs i detalj av förordningen (2015:195) om ett nationellt informationssystem och informationen som finns i Utbildningsguden är omfattande. Det finns dock ytterligare uppgifter som efterfrågas så som information om utbildningars inriktning eller skolors prestation i form av mervärdesmått. En del information, så som Salsa, framstår som svårt att kommunicera och det kan vara svårt för enskilda vårdnadshavare och elever att förstå resultat och jämföra skolor.
3.2.1 Omfattande information på Utbildningsguiden – men ytterligare uppgifter efterfrågas
Att ta fram underlag till skolvalet är ett av de uppdrag som Skolverket har inom ramen för sitt statistikuppdrag.[39] Skolverket har som ett svar på det utformat webbplatsen Utbildningsguiden.
Redan 2012 fick Skolverket i uppdrag att presentera statistik för att underlätta skolvalet, så att olika skolors faktiska resultat och kvalitet kan jämföras med varandra.[40] I sin återrapportering lämnade Skolverket ett förslag på hur en sådan informationstjänst skulle kunna se ut.[41] Förslagen användes av friskolekommittén, vars bestänkande låg till grund för propositionen Villkor för fristående skolor med mera. I propositionen, som riksdagen delvis antog, angavs vad som skulle ligga till grund för det nya nationella informationssystemet.[42]
Med ett uppdrag i regeringens regleringsbrev till budgetåret 2015[43] vidgades den befintliga webbplatsens fokus till att vara både ett stöd vid val av skola och en informationskälla för att erbjuda insyn i skolväsendet, enligt Skolverkets återrapportering.[44] I förordningen om ett nationellt informationssystem för skolväsendet preciseras myndighetens ansvar för information för skolvalet. Förordningen är detaljerat utformad och ger relativt lite frihet till Skolverket att påverka innehållet. De tilltänkta användarna av Utbildningsguiden är främst elever och vårdnadshavare, men den ska även riktas till studie- och yrkesvägledare, i och med ett senare uppdrag från regeringen.[45]
En betaversion av Utbildningsguiden lanserades hösten 2019. Samtidigt avvecklades de tidigare webbplatser som funnits för att underlätta skolvalet.[46] Enligt Skolverket har den nuvarande webbplatsen tagits fram genom en omfattande förstudie med stort fokus på användare och vad de behöver när de ska göra sitt skolval. Utvecklingen har skett i dialog med statistikenheterna på Skolverkets analysavdelning.
Data hämtas till Utbildningsguiden från olika källor. Huvuddelen av den information som uppdateras löpande kommer från Skolverkets databas (SIRIS). En annan källa är information som hämtas från Skolinspektionen. Det avser bland annat brukarenkäterna till vårdnadshavare och elever om exempelvis trygghet, undervisning och studiero. De har genomförts av Skolinspektionen sedan 2010 och riktas varje år till hälften av alla skolor. Under en tvåårsperiod omfattar den alltså samtliga skolor i Sverige. Enkäten riktas till samtliga elever i årskurs fem, nio och gymnasiets år två, samt pedagogisk personal och vårdnadshavare.[47] Det finns länkar till rapporterna om de inspektioner som gjorts, där det går att se om skolan har fått någon anmärkning. Dessutom presenteras Salsa, vars användning i Utbildningsguiden syftar till att visa skolans resultat i årskurs 9 med hänsyn taget till vissa socioekonomiska mått. I vilken utsträckning Salsa lämpar sig som en viktning av socioekonomiska faktorer diskuteras mer i detalj i avsnitt 3.5.
Det framkommer i intervjuer med Skolverket att man är medveten om att Salsa i grunden är till för huvudmännens kvalitetsarbete och att Salsa är svårt att kommunicera till enskilda personer som ska välja skola, men att förordningen föreskriver att något mått som speglar socioekonomisk bakgrund ska användas för redovisning av betyg i årskurs 9. I förarbetena som föregick förordningen om nationellt informationssystem anges att Skolverket exempelvis skulle kunna använda sig av Salsa för att tillmötesgå krav på socioekonomisk information om skolor i förhållande till dess resultat.[48] I samma förarbeten nämns också förslaget att ta fram ett mått av elevernas kunskapsutveckling, som benämns skolornas ”förädlingsvärde”.
I intervjuer med Friskolornas riksförbund framkommer att de saknar ett mått på progression och vad just skolan bidrar med i utvecklingen (dvs ett förädlingsvärde som benämns med sin engelska översättning ”value-added”). Också SKR nämnde att en del kommuner har lyft frågan om ett value-added mått. Ett sådant mått fick Skolverket i uppdrag att ta fram 2012, men i återrapporteringen 2019 menade Skolverket att det inte var möjligt att ta fram ett sådant mått med tillräckligt hög kvalitet.[49] Det finns ingen kännedom om konkreta planer på att publicera ett sådant mått enligt våra intervjuer med företrädare för Regeringskansliet eller Skolverket.
3.3 Varierad uppfattning om kvaliteten i statistiken till skolvalet
I granskningen har också en enkät genomförts för att bland annat undersöka skolhuvudmännens uppfattning om Skolverkets statistik som ligger till grund för skolvalet. Av de kommunala huvudmännen är det ungefär 40 procent som instämmer om att Skolverkets statistik för skolvalet är tillförlitlig.[50] Motsvarande andel bland de enskilda huvudmännen är 46 procent. En liten andel svarar att de inte instämmer med att Skolverkets statistik för skolvalet är tillförlitlig. Andelen enskilda huvudmän som inte instämmer är dock nära dubbelt så stor som bland kommunala. En annan aspekt som skiljer kommunala och enskilda skolhuvudmän är den stora andelen ”vet ej”-svar bland kommunala huvudmän.
Diagram 1 Bedömer ni att Skolverkets statistik är tillförlitlig som information till elever och vårdnadshavare inför val av skola? Kommunala skolhuvudmän.
Källa: Riksrevisionen
Diagram 2 Bedömer ni att Skolverkets statistik är tillförlitlig som information till elever och vårdnadshavare inför val av skola? Enskilda skolhuvudmän.
Källa: Riksrevisionen
Vi har också ställt frågan till skolhuvudmännen om de tror att Utbildningsguiden ger elever och vårdnadshavare den information som behövs för att göra ett informerat val. Här menar endast 15 procent av de kommunala huvudmännen att den gör det, 26 procent delvis och 6 procent säger att den inte gör det. Drygt hälften svarar att de inte vet. Detta kan bero på att de inte anser sig kunna göra en bedömning av elevers och vårdnadshavares uppfattning om behov av information. Det kan också bero på att det endast finns ett fåtal grundskolor i kommunen vilket inte aktualiserar valfrågan i lika hög utsträckning som i kommuner med många skolor.
För de enskilda huvudmännen skiljer sig svaren åt från kommunens, främst genom att 12 procent bedömer att Utbildningsguiden inte ger den information som behövs. En väsentligt lägre andel svarar också ”vet ej”.
Diagram 3 Bedömer ni att webbplatsen Utbildningsguiden.skolverket.se ger sådan information om grundskolor så att elever och vårdnadshavare kan göra ett informerat val av grundskola? Kommunala skolhuvudmän.
Källa: Riksrevisionen
Diagram 4 Bedömer ni att webbplatsen Utbildningsguiden.skolverket.se ger sådan information om grundskolor så att elever och vårdnadshavare kan göra ett informerat val av grundskola? Enskilda skolhuvudmän.
Källa: Riksrevisionen
3.3.1 Det kan vara svårt för användare att tolka information om skolvalet och jämföra skolor
På Utbildningsguiden kan maximalt tre skolor jämföras vid varje tillfälle, dvs sida vid sida. Den som söker efter skolor klickar på länken till de skolor som ska jämföras och därefter visas en vy med måtten för respektive skola. Att högst tre skolor kan jämföras gör att det kan vara svårt att få en mer övergripande bild av alla skolor i en kommun jämfört med varandra. Den som söker information behöver veta vilka skolor som hen vill jämföra.[51]
Enheten för digitala tjänster på Skolverket har gjort uppföljningar av hur webbplatsen Utbildningsguiden används. I årsredovisningen för året 2021 redovisas detta. Användningen anges där ha ökat markant med avseende på sidvisningar, där antalet besök har mer än fördubblats.[52] Det framgår dock inte i årsredovisningen hur stort antalet besökare är i absoluta tal. Enligt interna underlag från Skolverket fanns det ett mål om antal besök om minst 500 000 besökare för 2021. Skolverket har sedan 2019 kommunicerat webbplatsen mer publikt framför allt inför gymnasievalet, enligt intervju. När det gäller grundskolan har inte någon marknadsföring av Utbildningsguiden skett men myndigheten avser att påbörja ett sådant arbete. I den enkät som vi i denna granskning har riktat till huvudmän är det cirka 18 procent av de kommunala huvudmännen som anger att de länkar till Utbildningsguiden på kommunens webbplats när det gäller valet till grundskola.[53]
En utmaning för kommunikationsenheten har enligt intervju varit presentation av Salsa-värden. Även i Skolverkets redovisning av uppdrag som gjordes 2012/2013 framkommer att Salsa är ett svårkommunicerat mått. En särskild utmaning sågs av skolhuvudmän ”i att motverka användningen av databasen till att göra rankinglistor vilket man ansåg att journalister och i viss mån politiker gör”.[54] Dagens presentation av Salsa i form av ett diagram är enligt Skolverket ett försök att förklara och presentera måttet för gemene man, dvs. dem som inte är insatta i vad måttet är till för.
Det går inte att jämföra olika inriktningar på program i Utbildningsguiden i dagsläget. Enligt förordningen om nationellt informationssystem beskrivs detta som frivillig information som kan redovisas i den mån skolorna inkommer med denna.[55] Det pågår dock nu ett arbete inom uppdraget Verktyg för studie- och yrkesvägledning att samla in information om gymnasieinriktningar och presentera dem på Utbildningsguiden.[56]
3.4 Skolverkets statistik för uppföljning av skolor
Skolverkets statistik har bland annat till uppgift att vara ett underlag för huvudmännen att följa upp sin egen verksamhet. Såväl enskilda som kommunala huvudmän anger att de i hög grad använder sig av Skolverkets statistik för uppföljning av verksamheten. En stor andel anger också att den är tillförlitlig. En majoritet av kommunala och enskilda skolhuvudmän anger att de hittar och förstår hur Skolverket tar fram sin statistik. När det gäller frågan om huruvida Skolverket är tillgängligt för skolhuvudmän när det gäller att få tillgång till statistik är bilden mer blandat. Skolverket har inte heller enligt enkäten i hög grad tagit kontakt med skolhuvudmännen för att samla in deras behov av statistik. Det finns dock kanaler i form av användarråd hos SCB där skolhuvudmän har möjlighet att ge synpunkter på Skolverkets statistikproduktion genom sina medlemsorganisationer SKR respektive Friskolornas riksförbund.
3.4.1 Huvudmännen använder Skolverkets statistik i hög grad för sin egen uppföljning
För att få information om hur skolhuvudmän ser på Skolverkets statistik utifrån egna behov har vi ställt ett antal frågor till både kommunala och enskilda skolhuvudmän. Vår inledande fråga i enkäten till skolhuvudmän avsåg om de använder sig av Skolverkets statistik. Bland de kommunala skolhuvudmännen svarade knappt 96 procent att de använder Skolverkets statistik. Det är endast SKR som är större som källa för statistik, med knappt 99 procent användare.[57] För enskilda skolhuvudmän var det 85 procent som angav att de använder sig av Skolverkets statistik. Användning av Skolverkets statistik är därmed något lägre för enskilda skolhuvudmän än den är för kommunala skolhuvudmän, men den är högst jämfört med alla andra alternativ.
För de kommunala huvudmännen är den mest använda statistiken från Skolverket när det gäller uppföljning av grundskolor betygsstatistiken, följd av statistiken om de nationella proven. Därefter följer personalstatistiken och Salsa, före elevstatistik och kostnadsstatistik.
Diagram 5 Vilken statistik från Skolverket använder er kommun för uppföljning av grundskoleverksamheten?
Flera svar möjliga.
Källa: Riksrevisionen
För enskilda huvudmän är den mest använda statistiken från Skolverket betygsstatistiken följd av statistiken om de nationella proven. Det liknar därmed svaren som lämnades av de kommunala huvudmännen. Därefter följer Salsa, före personalstatistiken, elevstatistiken och kostnadsstatistiken, dock på en tydligt lägre nivå jämfört med svaren från de kommunala skolhuvudmännen. [58]
Diagram 6 Vilken statistik från Skolverket använder ni som enskild huvudman för uppföljning av grundskoleverksamheten?
Flera svar möjliga.
Källa: Riksrevisionen
En tydlig majoritet av de kommunala skolhuvudmännen instämmer i påståendet att Skolverkets statistik är tillförlitlig. Endast 3 procent svarar att den inte är det. Också en majoritet av de fristående skolorna är positiva även om andelen är lägre; där instämmer cirka 10 procent inte i påståendet.
Diagram 7 Bedömer ni att Skolverkets statistik är tillförlitlig för uppföljning av grundskolor? Kommunala skolhuvudmän.
Källa: Riksrevisionen
Diagram 8 Bedömer ni att Skolverkets statistik är tillförlitlig för uppföljning av grundskolor? Enskilda skolhuvudmän.
Källa: Riksrevisionen
3.4.2 Skolhuvudmännen uppfattar att Skolverkets statistik är tillgänglig
I enkäten ställdes också frågor om statistikens tillgänglighet. En första fråga är om huvudmännen instämmer i att de hittar den statistik de behöver på Skolverkets webbplats. En majoritet på drygt 65 procent av de kommunala huvudmännen instämmer i påståendet och knappt 10 procent svarar att de inte gör det. För de enskilda huvudmännen är resultatet liknande. 62 procent instämmer i att de hittar statistik de behöver på webbplatsen medan 7 procent inte gör det. Endast få svarar ”vet ej” bland samtliga huvudmän.
Diagram 9 Hittar ni den statistik ni som huvudman behöver på Skolverkets hemsida? Kommunala skolhuvudmän.
Källa: Riksrevisionen
Diagram 10 Hittar ni den statistik ni som huvudman behöver på Skolverkets hemsida? Enskilda skolhuvudmän.
Källa: Riksrevisionen
Vi har också frågat om Skolverket är tillgängligt (t.ex. via mejl, telefon) för att hjälpa skolhuvudmän att få tag på den statistik de behöver, och svaren är förhållandevist utspritt över svarsalternativen. Av de kommunala skolhuvudmännen är det lite drygt 36 procent som instämmer i påståendet att Skolverket är tillgängligt för att hjälpa att få tag på statistik som de behöver. 13 procent instämmer inte och ca 30 procent svarar ”vet ej”. För de enskilda skolhuvudmännen är det motsvarade ungefär 43 procent som instämmer i påståendet och 12 procent som inte gör det. 18 procent svarar ”vet ej”.
Slutligen ställde vi frågan om Skolverket under senare år tagit kontakt med skolhuvudmännen för att hämta in deras behov av skolstatistik. Här var det en andel på 41 procent av företrädare för de kommunala skolhuvudmännen som svarade ”vet ej”. Endast knappt 7 procent svarade att de hade blivit kontaktade av Skolverket för att stämma av kommunens statistikbehov. För de enskilda skolhuvudmännen svarade endast 18 procent att de inte vet. Att denna andel är betydligt mindre jämfört med kommunala huvudmän kan troligen förklaras av att ledningsorganisationen hos enskilda huvudmän i de flesta fall är betydligt mindre jämfört med de kommunala huvudmännen, så en möjlig kontakt med Skolverket skulle behöva hanteras av samma person som svarade på vår enkät eller någon annan i dess närhet. Knappt 13 procent av de enskilda skolhuvudmännen svarade att de hade blivit kontaktade av Skolverket för att stämma av deras statistikbehov.
Enligt en beskrivning i en av Skolverkets interna riktlinjer ska Skolverket ta in synpunkter vid statistikförändringar som rör kommuner.[59] Som redovisades mer i detalj i avsnitt 2 finns ett användarråd som SCB anordnar, där representanter för användare av utbildningsstatistik deltar. I våra intervjuer med företrädare för SKR anger de att de här kan komma med förslag. Ett exempel på förslag som brukar framföras av kommunala skolhuvudmän till SKR är att statistiken bör presenteras mer detaljerad. Också Friskolornas riksförbund har med en representant i användarrådet. Skolverkets statistikenheter har inte en regelbunden avstämning med skolhuvudmän en och en. Tidigare har mindre användarundersökningar gjorts, företrädesvis till skolhuvudmän. I dessa undersökningar framgick att de flesta som använder statistiken var tillräckligt nöjda men att skolhuvudmännen ville ha ett bättre gränssnitt, enligt intervju med representant för Skolverket.
3.5 Skolverkets statistik som underlag för bedömning av skolor utifrån socioekonomiska överväganden
Skolverket tar fram statistik som används i syfte att förhålla sig till skolornas socioekonomiska elevsammansättning. Det gäller dels redovisning av skolresultat i årskurs 9 i förhållande till socioekonomiska faktorer (i Utbildningsguiden), dels fördelningsnycklar som ligger till grund i fördelning av en del statliga bidrag till skolhuvudmän. Se bilaga 1, tabell 2 för en redovisning av vilka statsbidrag det gäller. I detta avsnitt undersöks i vilken utsträckning de statistiska modellberäkningarna förhåller sig till ett av statistiklagens kriterier, nämligen det om noggrannhet. Med det avses i vilken utsträckning den framtagnas statistiken överensstämmer med vad den är avsedd att mäta vilket här gäller aspekten socioekonomi.
Vår övergripande slutsats är att både Salsa, på det sätt som den används inom ramen för Utbildningsguiden, och fördelningsnyckeln för grundskolan har brister i vissa avseenden. Framför allt klarar modellerna som ligger till grund för statistiken inte i tillräckligt hög grad av att ta hänsyn till socioekonomiska faktorer. När det gäller Salsa konstaterar vi, förutom avsaknad av relevanta variabler utifrån socioekonomiska avväganden, även brister i själva modellspecifikationen.[60] För fördelningsnyckeln för grundskolan bedömer vi underliggande modellspecifikationen som tillfredsställande, men vi anser att modellen dras med samma brist som Salsa när det gäller inkludering av relevanta kontrollvariabler utifrån ett socioekonomiskt perspektiv.
Operationalisering av socioekonomi på skolområdet
Den mest frekvent förekommande operationaliseringen av likvärdighet inom skolområdet är att på olika sätt beakta socioekonomiska förutsättningar. Skolverket gör det i sina egna uppföljningar, men det är också vanligt förekommande i internationella sammanhang, till exempel i jämförelsen av skolresultat från internationella kunskapsmätningar i Pisa eller Timms.[61]
Det saknas en fastslagen definition för vad som ryms inom begreppet socioekonomi på skolområdet. Dock finns det en väl etablerad praxis inom utbildningslitteraturen. En av de faktorer som brukar inkluderas är föräldrarnas utbildning men dessutom är det vanligt förekommande med mått på föräldrarnas inkomst och arbetsmarknadssituation eller mått på bidragsberoende.[62]
3.5.1 Tre statistiska modeller som används i Skolverkets verksamhet för att beakta socioekonomiska aspekter
Skolverket är ansvarig för fördelning av riktade statsbidrag som bland annat avser att stärka likvärdighet mellan skolor. En del av dessa bidrag fördelas utifrån statistiska fördelningsnycklar, som i delar har tagits fram av Skolverket själva. Skolverkets fördelningsnyckel för grundskolan togs fram efter ett regeringsuppdrag från 2015. I uppdraget till Skolverket står att läsa att ”[r]egeringen avser att i dialog med huvudmännen verka för att staten i ökad utsträckning fördelar medel efter bland annat socioekonomiska parametrar”. [63] SCB:s fördelningsnyckel, det så kallade socioekonomiska indexet, lanserades år 2018 och Skolverket använder det i fördelningen av likvärdighetsbidraget.[64] Salsa togs fram runt millennieskiftet där ”[s]yftet med Salsa är att synliggöra faktorer som har betydelse för betygsresultat och bidra med underlag för diskussioner och analyser av förutsättningar, processer, resultat och måluppfyllelse i kommuner och skolor”.[65] Inom ramen för Utbildningsguiden används Salsa dock också i redovisningen av skolresultat i förhållande till socioekonomiska faktorer.
SCB:s socioekonomiska index innehåller flertal av de faktorer som i litteraturen har pekats ut som att de fångar in socioekonomi (se faktaruta). Skolverkets Salsa-modell och grundskolenyckel bygger på en och samma socioekonomisk faktor, nämligen föräldrarnas utbildningsnivå. Grundskolenyckeln är dock en mer flexibel beräkningsmodell än vad Salsa är. Med flexibel avses en mer finfördelad uppdelning av de variabler som ingår i modellen.[66]
3.5.2 Noggrannheten skiljer sig i de tre statistiska modellerna
Vi har jämfört Skolverkets grundskolenyckel respektive Salsa med modeller som bygger på SCB:s socioekonomiska index. Genom användning av respektive modell fås det värden för varje skolenhet som ingår i modellberäkningen i respektive modell. Dessa värden kan sedan rangordnas för respektive modell. När det gäller grundskolenyckeln ser vi en förhållandevis samstämmig rangordning med ”SCB modellen”. Skillnader i rangordningen av skolornas resultat mellan en modell som bygger på SCB:s socioekonomiska index och Salsa är betydligt större.
Vi börjar med att redovisa likheter/skillnader då man ser till skolornas resultat så som de genereras utifrån Skolverkets Salsa-modell respektive en modell som bygger på SCB:s beräkningsmodell av socioekonomiskt index. I följande genomgång refereras till denna som ”SCB-modellen”.[67]
Salsa jämfört med modell som bygger på SCB:s socioekonomiska index
Vi har klassindelat skolorna i fem kategorier dels efter SCB-modellens, dels efter Salsa-modellens prediktioner av skolornas resultat. De 20 procent av skolorna som har lägst värden klassas som lägst, de efterföljande 20 procent som ”under (den statistiska) förväntan”, de 20 procent som fördelar sig runt 0-värdet (dvs. där predikterade och faktiska utfall är ungefär lika); därpå följer de 20 procent av skolorna som klassas som ”bättre än (den statistiska) förväntan” och slutligen de 20 procent av skolorna som hamnar i gruppen ”bäst”.[68]
Tabell 2 visar hur ofta en skolas prestation (enligt uppdelningen angiven ovan; sämst, under förväntan, enligt förväntan, över förväntan, bäst) är samstämmig enligt de två modellerna. Värdet 0 indikerar samma klassificering i båda modellerna, värdet 1 att det är avvikande bedömningar i ett steg (en kvintil), till exempel att Salsa måttet indikerar skolans prestation vara ”under förväntan” medan det av oss konstruerade måttet som bygger på SCB:s beräkningar av socioekonomiskt index betingar klassificering ”enligt förväntan”. Ett värde på 2 (3) indikerar att det är en skillnad om två (tre) steg.
Tabell 2 visar att drygt 50 procent av skolorna hamnar i samma klass utifrån SCB:s modellens indelning och i Salsa, så att avvikelserna de emellan är därmed 0. För knappt 40 procent är skillnaden ett steg. För 10 procent av skolorna är avvikelserna så stora som två eller tre stegs skillnad. Exempelvis, en skola som klassificeras tillhöra de lägst presterande utifrån SCB:s modell kan klassas som ”enligt förväntan” eller ”bättre än förväntan” utifrån Salsa-modellens prediktion.
Tabell 2 Skillnader i bedömningen av skolornas prestation mellan Salsa och en modell baserad på SCB:s SE-index. Utfall genomsnittligt meritvärde på skolnivå i årskurs 9. Baserad på kvintil-indelning för respektive beräkningsmått. Läsår 2018/19.
| Skillnad i klassificering av skolor mellan Skolverkets och SCB:s beräkningsmodeller | Frekv. | Procent | Aggr. |
|---|---|---|---|
| 0 | 747 | 51,09 | 51,09 |
| 1 | 567 | 38,78 | 89,88 |
| 2 | 133 | 9,1 | 98,97 |
| 3 | 15 | 1,03 | 100 |
| Total | 1 462 | 100 |
Analysen visar att Salsa-modellen inte fungerar tillfredställande för att redovisa skolresultat i förhållande till socioekonomiska faktorer. Det är dock så den används inom ramen för Utbildningsguiden. Vi noterar också att modellen inte har utvecklats nämnvärt sedan den togs fram kring sekelskiftet.[69]
Skolverkets fördelningsnyckel för grundskolor jämförd med modell som bygger på SCB:s socioekonomiska index
På samma sätt som vi gjort i föregående avsnitt har vi också jämfört resultat från Skolverket fördelningsnyckel för grundskolor med en modell som bygger på SCB:s socioekonomiska index. Vi använder oss av motsvarande princip med uppdelning i kvintiler av predikterade värden. Klassificeringen har här en något annorlunda innebörd än de som redovisas i tabell 2. Här mäts en skolas samlade risk att eleverna inte når gymnasiebehörighet; se bilaga 2 för en redovisning av modellestimaten.
Som framgår av tabellvärden i tabell 3 är skillnaden mellan de två modellerna betydligt mindre än vi såg i jämförelse av Salsa och en modell som bygger på SCB:s socioekonomiska index i tabell 2. Skolverkets fördelningsnyckel och ”SCB modellen” är lika utifrån en kvintil-uppdelning i två tredjedelar (66,4 procent) av skolorna. För ca 30 procent är skillnaden ett steg. Dock föreligger i enstaka fall stora avvikelser. I tre fall så stora att samma skolor klassas i helt motsatt ordning utifrån respektive modell.
Tabell 3 Skillnader i bedömningen av skolornas resultat mellan Skolverkets fördelningsnyckel till grundskolan och en modell baserad på SCB:s SE-index. Utfall risken att inte uppnå gymnasiebehörighet. Baserad på kvintil-indelning för respektive beräkningsmått. Läsår 2018/19.
| Skillnad i klassificering av skolor mellan Skolverkets och SCB:s beräkningsmodeller | Frekv. | Procent | Aggr. |
|---|---|---|---|
| 0 | 1 088 | 66,42 | 66,42 |
| 1 | 498 | 30,4 | 96,83 |
| 2 | 41 | 2,5 | 99,33 |
| 3 | 8 | 0,49 | 99,82 |
| 4 | 3 | 0,18 | 100 |
| Totalt | 1 638 | 100 | 0 |
Fördelningsnyckeln rangordnar mer i enlighet med en modell som bygger på SCB:s socioekonomiska index, än vad Salsa förmår att göra, även om det föreligger skillnader i prediktionen. En förklaring till att fördelningsnyckeln till grundskolan presterar bättre än Salsa är att modellens konstruktion med avseende på variabelspecifikation är mer utvecklad än vad Salsa-modellen är. Men för att fånga in socioekonomiska aspekter på ett mer vederhäftigt sätt behövs sannolikt också här att fler faktorer som relaterar till socioekonomi byggs in i modellen.
3.5.3 Se över behov av att erbjuda ett mervärdesmått
Det nämndes i avsnitt 3.2 att olika aktörer har uttalat att det finns en efterfrågan av ett mått på skolors mervärde, ibland kallad för förädlingsvärde eller ”value-added”. Ett sådant uppdrag, att se på möjligheten att ta fram ett sådant mått, la regeringen på Skolverket 2012. I sin avrapportering från 2019 landade Skolverket dock i att inte gå vidare med att ta fram och publicera ett sådant mått. Som konstateras där finns det utmaningar med att ta fram och tillhandahålla ett sådant mått. Vi håller med om att så är fallet, dock är vi av uppfattningen att om det är så att Salsa, i brist på annat, används som substitut på en skolas bidrag till elevers kunskapsutveckling så kan det vara motiverat för Skolverket att på nytt överväga att ta fram ett mått som försöker mäta detta. Att Salsa har använts som en form av kvalitetsranking har uppmärksammats tidigare, se till exempel i Skolverkets uppföljning från 2012/2013.[70] Det finns indikationer för motsvarande användning även under senare tid.[71] Trots utmaningar med att ta fram ett mått på skolors förädlingsvärde bör det vara möjligt att ta fram något som är bättre än Salsa. Osäkerheten i måtten är något som Skolverket dock i så fall behöver förhålla sig till, både i framtagandet och i kommunikationen till möjliga användare.
3.6 Skolverkets statistik som underlag för uppföljning och utvärdering av skolor genom forskare och utvärderare
Statistik är en förutsättning för att kunna utvärdera skolpolitiska insatser eller att kunna följa upp utvecklingen inom skolan rent generellt. Skolverket har mandat att föreskriva vilka uppgifter som skolhuvudmän ska rapportera in enligt Skolverkets föreskrifter om uppgiftsinsamling från huvudmännen inom skolväsendet.[72] Enligt sin instruktion har Skolverket till uppgift att följa upp utvecklingen i samtliga utbildningar och publicera sitt arbete med uppföljning och utvärdering.[73] Till följd av sitt uppdrag har Skolverket möjlighet att samla in de uppgifter som krävs för att bedriva sin verksamhet. Hur mycket information som kan krävas in måste vägas av mot uppgiftslämnarbördan, något som också Skolverket framför i intervjuer.
En förutsättning för att förstå behoven hos användare av skolstatistik är en löpande avstämning med dessa målgrupper. Det lyfts också fram i SCB:s handbok om arbetet med att stämma av informationsbehov, prioriteringar och ändamål med den officiella statistiken.[74] Skolverket har inget eget användarråd för skolstatistik, eller en form av systematiskt användardialog med andra parter, så som rekommenderas enligt SCB:s handbok.
Vid intervjuer med Skolverkets statistikenheter framkom att myndigheten inte har en systematisk process för hur man fångar in vilken statistik som efterfrågas av andra aktörer, utan att man använder sig av kanaler som “funktionsbrevlåda till enheten” och annat som man fångar upp löpande. I SCB:s användarråd för utbildningsstatistik ingår representanter från olika myndigheter och förbund på utbildningsområdet som Sveriges universitets- och högskoleförbund [SUHF], Universitets- och högskolerådet [UHR], Universitetskanslersämbetet [UKÄ]. Men det saknas företrädare för IFAU, eller forskare inom skolområdet vid lärosäten. Detta skiljer användarrådet för utbildningsstatistik från andra användarråd. Användarråden för arbetsmarknadsstatistik (med representanter från IFAU och Institutet för social forskning, SOFI), välfärdsstatistik (med representanter från SOFI och Handelshögskolan) eller befolkning, demografi och integration (med representanter från Stockholms universitet och Mälardalens högskola) har alla representanter som bedriver forskning vid universitet och högskola.[75]
I vår enkät till forskare och utredare inom skolområdet framkommer också behov av ytterligare statistik. Exempel som nämns är uppgifter om vilka resurser som fördelas till enskilda skolor, en annan avsaknad av uppgifter som kan koppla ihop lärare och elever; se bilaga 3 för en sammanställning av svaren. Hur angelägna sådana behov är måste Skolverket väga av mot en ökad uppgiftslämnarbörda. Enligt vår uppfattning underlättas den avvägningen med regelbundna kontakter med utredare och forskare.
Vi ställde också en fråga till forskare och utredare om hur man ser på skolenhetsregistret, dvs förteckningen över alla skolenheter i Sverige. Registret bedömdes vara bristfällig av hälften av de tio svarande i webbenkäten. Bristen består främst i att kopplingen av skolor över tid inte har säkerställts.
Vi har också intervjuat Skolinspektionen som användare av Skolverkets statistik. Det finns en löpnade kontakt mellan myndigheterna och Skolinspektionen anger att samverkan kring statistik fungerar väl. Dock framkommer att den nya tolkningen av statistiksekretessen innebär att Skolinspektionen inte längre kan ta del av annan statistik än den som publiceras på Skolverkets webbplats. Det gör att anledningen att samverka kring statistik inte finns på samma sätt som tidigare.
3.7 Skolverkets klassificering av vad som är och vad som inte är officiell statistik
Skolverkets uppdrag gällande statistik kan delas in i officiell statistik och annan statistik. I allt väsentligt har den officiella statistiken haft samma innehåll under lång tid. Samtidigt har stora förändringar skett på skolområdet. Skolverket har som överordnad princip att endast uppgifter på riksnivå klassas som officiell statistik. Det finns anledning att anta att en sådan strikt hållning inte följer statistiklagens lydelse att den officiella statistiken ”ska finnas för allmän information, utredningsverksamhet och forskning”.[76] Den praktiska användningen av statistik är i regel inte på riksnivå, utan snarare på skol- eller skolhuvudmannivå. Vi ser också att Skolverkets princip för klassificering av officiell statistik kan ha bidragit till att utvecklingen av annan statistik så som Salsa inte har prioriterats.
3.7.1 Anpassning av klassificering av statistik utifrån förändringar i samhället kan förbättras
Utifrån våra intervjuer och mejlsvar med Skolverket men också med kansliet för Rådet för officiell statistik bedömer vi att Skolverket har utvecklade processer som säkerställer att uppgifter som sedan blir till en uppgift på nationell nivå i den officiella statistiken är tillförlitliga. Genom olika kvalitetskontroller säkerställs att uppgifterna håller tillräcklig kvalitet, från skolenhetsnivå till riksnivå. Skolverket strävar efter att insamling av statistik ska vara fullständig, vilket rent praktiskt innebär att det är fråga om totalundersökningar.
Statistiklagen ställer krav på att den officiella statistiken ska följa samhällsutvecklingen. Som konstaterades i Riksrevisionens granskning av den officiella statistiken 2015 saknas det dock strategier och planering hos statistikansvariga myndigheter för att anpassa den officiella statistiken till samhällsutvecklingen. Det kan finnas ”en poäng i att statistiken har en viss kontinuitet men den får inte bli statisk, särskilt inte mot bakgrund att samhället förändrats relativt mycket sedan statistikreformen i mitten av 1990-talet”.[77] En väsentlig ändring som har skett på skolområdet över tid är att behov av statistik för uppföljning har ökat. Det speciellt i ett system med fria skolval. Dessutom har betydelsen av elevernas socioekonomiska bakgrund för skolornas resultat ökat under senare år.[78] I stort sett har dock den officiella skolstatistiken sett likadant ut. Skolverket motiverar sin praxis att endast klassa statistik på riksnivå som officiell med att ”statliga kommittéväsendet utgår i allmänhet från riksnivån när det gäller skolområdet” samt ”budgetpropositionen, som använder statistik på riksnivå i bakgrundsbeskrivningen till de förslag som läggs fram på skolområdet”.[79]
Representanter för Skolverket beskriver en arbetsprocess där statistikens kvalitet är säkerställd även på lägre nivå än riksnivå om uppgiften för riksnivån är klassad som officiell statistik. Det framstår som rimligt, dock ser vi samtidigt att det endast gäller så länge det rör statistik som faktiskt aggregeras upp till riksnivå. Viss statistik som är av stor praktisk nytta för många användare låter sig dock inte aggregeras på ett meningsfullt sätt. Det rör både Salsa och Skolverkets fördelningsnycklar för statsbidrag. Dessa utgörs av statistiska beräkningar, där en skolas resultat relateras till andra skolors resultat (som meritvärde). Det är därmed fråga om relativa mått som fångar avvikelser för respektive skola från medeltalen.[80]
Skolverkets princip att endast statistik som redovisas på riksnivå klassas som officiell kan ha bidragit till att Skolverket inte har prioriterat arbetet med att utveckla Salsa och, i viss mån, också fördelningsnyckeln till grundskolan. Utifrån våra intervjuer framkom att Salsa hanteras i mån av tid, efter det att den mer prioriterade officiella statistiken har publicerats.
3.7.2 Användare skiljer sällan på officiell statistik och annan statistik
Bland användare av statistik tycks skillnaden mellan officiell och annan statistik vara obefintlig. När kvalitetssäkring skiljer sig mellan officiell och annan statistik är det viktigt att skillnader uppmärksammas av Skolverket.
Det framkom i intervjuer att man endast i liten utsträckning uppmärksammar om den statistik som används är klassad som officiell eller ej. Flera av de svarande framhöll att de betraktar all statistik som publiceras av Skolverket som officiell statistik. Av de 10 forskare och utredare som svarat på vår enkät nämnde endast två att distinktionen mellan officiell och annan statistik var av betydelse för deras arbete. Även i propositionen som låg till grund för förordningen om ett nationellt informationssystem refereras felaktigt till Salsa som officiell statistik. [81]
3.8 Informerar Skolverket om sin statistik på ett sätt som gör att statistiken tillgängliggörs och används i avsett syfte?
Skolverket ska enligt förordningen från 2015 erbjuda information om skolor.[82] Skolverket lanserade webbplatsen Utbildningsguiden år 2019. Dock har Skolverket inte marknadsfört webbplatsen mer aktivt för skolvalet av grundskolor, vilket av Skolverket förklaras av att arbetet har varit under utveckling. Vi kan utifrån en enkätundersökning se att skolhuvudmännen inte länkar till webbplatsen i någon större utsträckning.
I avsnitt 3.4.2 konstaterade vi att skolhuvudmännen uppfattar att Skolverkets statistik i hög grad är tillgänglig. Skolverket informerar dock inte aktivt om de underliggande statistiska nyckelvärdena samtidigt som det i vår granskning framkommer att ett sådant behov finns.
3.8.1 Kunskapen om Skolverkets statistik kan förbättras
Inför gymnasievalet 2021 har en satsning skett på att kommunicera Utbildningsguiden inför gymnasievalet. Det har dock inte skett någon utåtriktad kommunikation av webbplatsen Utbildningsguiden när det gäller val till grundskolan, enligt intervjuer. Det beror på att webbplatsen har varit under utveckling och Skolverket har inte upplevt att de har kunnat framhålla att den har hållit tillräcklig kvalitet. I intervju med kommunikationsenheten framkommer dock att myndigheten anser att de nu kan börja göra det.
Kommunerna har ansvar för att informera om skolvalet. I den enkät som Riksrevisionen genomfört har det därför ställts en fråga om huruvida kommunerna länkar eller på andra sätt informerar om Utbildningsguiden. 18 procent av kommunerna menar att de länkar till Utbildningsguiden eller informerar om webbplatsen på annat sätt. 62 procent anger att de inte gör det och 17 procent svarar att de inte vet. Enligt enkäten är det ca 9 procent som tillhandahåller annan statistik för skolvalet.
Diagram 11 Länkar ni som kommunal huvudman till webbplatsen Utbildningsguiden på kommunens webbplats?
Flera svar möjliga.
Källa: Riksrevisionen
Eftersom det är kommunerna som har ansvar för att informera om skolvalet har vi inte ställt samma fråga till de enskilda huvudmännen. Vi har dock frågat om de använder Utbildningsguiden för att informera om sina skolor. Bland de enskilda huvudmännen är det 20 procent som svarar ja, 73 procent som svarar nej och 8 procent som svarar ”vet ej”.
I en studie från 2018 riktade SKR kritik mot riktade statsbidrag som baseras på det socioekonomiska indexet. Kritiken gick ut på att kommunala huvudmän inte använder samma uppgifter som det socioekonomiska indexet bygger på, ”vilket kan leda till två olika fördelningsgrunder till en och samma skola”.[83] I våra samtal med kommunala tjänstemän och medarbetare på SKR efterfrågades också mer stöd när det gäller användning av fördelningsnycklar. Speciellt lyftes behovet att förklara faktorerna som ligger till grund för fördelning av statsbidrag för dem som berörs av statistiken. Enligt tjänstemännen behöver komplexiteten förtydligas och det önskades samsyn och samarbete mellan Skolverket, SCB och SKR. Svaren indikerar att Skolverket skulle kunna förbättra sina processer för att informera om de statistiska nyckelvärden som Skolverket använder. Utifrån enkätsvaren från kommunala huvudmän framstår det som att fördelning av likvärdighetsbidraget främst bygger på statistik från Skolverket som betygs- och elevstatistik eller också Salsa, snarare än på uppgifter från SCB. Kommuner (kommunala huvudmän) med många skolor beställer i större utsträckning uppgifter från SCB som grund för fördelning av likvärdighetsbidraget än kommuner med få skolor. [84] Däremot verkar beställning av statistik från SCB inte följa i spåren av hur socioekonomiskt uppdelade skolorna i kommunerna är.