1. Inledning

1.1 Motiv till granskning

Biståndets resultat har varit i fokus sedan Sverige började med internationellt utvecklingssamarbete på 1960-talet.[1] Både riksdagen och regeringen är tydliga med att biståndet måste följas upp och utvärderas.[2] Det övergripande målet för Sveriges internationella bistånd är att skapa förutsättningar för bättre levnadsvillkor för människor som lever i fattigdom och förtryck.[3] Det svenska biståndet omfattar ungefär 56 miljarder kronor årligen.[4]

Riksdagen har genom åren återkommande efterfrågat att regeringen ska bli bättre på att rapportera om biståndets resultat och efterfrågat en tydligare koppling mellan mål, insatser, resultat och regeringens anslagsförslag. På senare år har riksdagen särskilt efterfrågat att regeringen ska utveckla kopplingen mellan resultatanalysen och politikens inriktning.[5] Riksdagen har uppmärksammat att biståndets komplexitet gör det svårt att rapportera om biståndets resultat. Samtidigt har riksdagen fortsatt att begära bättre rapportering, och därigenom ett bättre underlag för sina beslut om framtida anslag.[6]

Styrelsen för internationellt utvecklingssamarbete (Sida) är Sveriges biståndsmyndighet och beslutar årligen om drygt 23 miljarder kronor av Sveriges totala biståndsbudget.[7] Regeringen ställer krav på Sida att tillvarata kunskap från såväl egna som externa uppföljningar och utvärderingar,[8] och att redovisa resultat och effekter av biståndet som bidrar till att uppfylla det övergripande målet för svenskt bistånd.[9] Enligt en studie från 2021 brister Sidas utvärderingar i kvalitet,[10] och enligt flera granskningar har Sida utmaningar med att tillvarata lärande i organisationen, och att samlat följa upp och beskriva resultat.[11]

Expertgruppen för biståndsanalys (EBA) är en kommitté inom det statliga utredningsväsendet som inrättades 2013, med uppdrag att kontinuerligt utvärdera och analysera biståndet.[12] Kommittén får totalt 21 miljoner kronor per år för sin verksamhet.[13] EBA har i uppdrag att bland annat utvärdera biståndets resultat, effektivitet och genomförande, och ska därigenom bidra till regeringens utveckling och styrning av biståndet.[14] Statskontoret gjorde 2018 en översyn av EBA som visade att EBA:s studier behövde bli mer relevanta och användbara.[15]

Erfarenheter visar att det finns utmaningar med att aggregera och redovisa resultat av biståndet, trots flera resurskrävande försök på systemnivå.[16] Bland forskare, debattörer och professionella på biståndsområdet finns en långvarig och omfattande debatt om vad som kan och bör utvärderas, och vad som är bra utvärdering.[17] Samtidigt behöver de som beslutar om biståndet kunskap om vad som bidrar till resultat och hållbara förändringar för människor som lever i fattigdom, för att kunna fatta initierade beslut.[18]

Brister i uppföljning och utvärdering av det svenska biståndet riskerar att leda till att riksdagen inte får de underlag som riksdagen behöver, och till att myndigheternas resurser inte används effektivt. Sådana brister riskerar också att begränsa regeringens möjligheter att styra biståndet baserat på tidigare resultat, och att begränsa Sidas möjligheter att utforma insatser baserat på tidigare resultat. I förlängningen riskerar det att leda till sämre möjligheter att nå målet för det svenska biståndet.

1.2 Övergripande revisionsfråga och avgränsningar

Detta är vår övergripande revisionsfråga:

• Är regeringens och Sidas uppföljning och utvärdering av biståndets resultat effektivt utformad?

Med effektivt menar vi att uppföljningen och utvärderingen bidrar med kunskap om resultat som används i verksamheten för att biståndet ska nå det övergripande målet för biståndet. Det innebär att regeringen och Sida hämtar in information om biståndets resultat, använder informationen och rapporterar den vidare för att bidra till att biståndet når sitt övergripande mål. EBA har i uppdrag att utvärdera och analysera biståndet, och är som en kommitté under regeringen en del av regeringens uppföljning och utvärdering av biståndet. Se avsnitt 1.4.4 för definitioner av uppföljning och utvärdering.

Den övergripande revisionsfrågan besvaras genom följande delfrågor:

• Är Sidas uppföljning och utvärdering av biståndets resultat effektivt utformad?
• Är EBA oberoende, och bidrar EBA med användbar kunskap om biståndets resultat till regeringen?
• Arbetar regeringen med uppföljning och utvärdering av biståndets resultat på ett effektivt sätt?

”Resultat” omfattar i denna granskning både prestationer och direkta och långsiktiga effekter av biståndet. Se avsnitt 1.4.3. för definitioner av olika typer av resultat.

Vi har avgränsat granskningen till Sidas långsiktiga utvecklingssamarbete, det vill säga långsiktigt stöd till länders utveckling. Humanitärt bistånd ingår därmed inte i granskningen. Motivet till avgränsningen är att dessa två olika biståndstyper används i olika syften och kräver olika hänsyn i uppföljning och utvärdering. Granskningen omfattar inte heller regeringens multilaterala strategier för biståndet, som hanteras av Utrikesdepartementet (UD).

Granskningen fokuserar på uppföljningen och utvärderingen av biståndets resultat. Granskningsobjekten genomför även uppföljning och utvärdering som har annat fokus, exempelvis finansiell revision och uppföljning av avvikelser.

Riksrevisionen gör i denna granskning inte någon bedömning av kvaliteten eller tillförlitligheten i de utvärderingar som genomförs av svenskt bistånd.

1.2 Bedömningsgrunder

Regeringsformen anger att varje utskott följer upp och utvärderar riksdagsbeslut inom utskottets ämnesområde.[19] Regeringsformen anger även att regeringen ska inhämta behövliga upplysningar och yttranden från berörda myndigheter vid beredningen av regeringsärenden.[20] Budgetlagen (2011:203) anger förutsättningarna för resultatredovisningen som regeringen ska presentera för riksdagen varje år. Den anger bland annat att regeringen i budgetpropositionen ska lämna en redovisning av de resultat som har uppnåtts i verksamheten, i förhållande till de mål som riksdagen har beslutat om.[21]

Riksdagen har återkommande pekat på vikten av att kunna följa effekterna av Sveriges biståndsinsatser, inklusive deras långsiktiga effekter.[22] Den har även betonat att biståndets fortsatta utformning i hög grad ska utgå från en analys av de resultat som uppnåtts,[23] och att det ska finnas en koppling mellan en analys av biståndets resultat och politikens inriktning.[24]

Riksdagen har även angett att det ska finnas en utvärderingsverksamhet inom Sida, och en fristående utvärderingsfunktion med ett stort mått av oberoende.[25]

Uppföljningen och utvärderingen av biståndet ska fylla flera syften. I denna granskning har vi lagt särskild vikt vid att uppföljningen och utvärderingen ska användas i den vidare utformningen av biståndet, för att bidra till att biståndet når sitt övergripande mål. Regeringens återrapportering till riksdagen är i sin tur viktig för att riksdagen ska kunna ta ställning till regeringens förslag, i syfte att styra biståndet mot det övergripande målet.

I följande avsnitt kompletterar och operationaliserar vi våra bedömningsgrunder för granskningens tre delfrågor.

1.3.1 Sida ska hämta in, använda och återrapportera biståndets resultat till regeringen

Regeringen ska se till att Sida har den styrning som krävs för att möta de krav som anges i budgetlagen. Regeringsskrivelsen Policyramverk för svenskt utvecklingssamarbete och humanitärt bistånd (hädanefter kallad för Policyramverket), som var styrande under granskningsperioden, anger att biståndet behöver väl fungerande system för uppföljning och utvärdering.[26] Regeringen har i sin styrning av Sida omsatt det genom att ställa krav i instruktionen för Sida, i årliga regleringsbrev till Sida och i andra regeringsbeslut. Regeringen anger bland annat att Sida ska tillvarata kunskap från såväl egna som externa uppföljningar och utvärderingar,[27] bistå regeringen med expertstöd och de underlag som är nödvändiga för regeringens utformning av biståndspolitiken,[28] och redovisa resultat, inklusive effekter, av biståndet som bidrar till att uppfylla det övergripande målet för svenskt bistånd.[29]

Utifrån detta använder vi följande operationaliserade bedömningsgrunder:

• Sida ska hämta in information om biståndets resultat från egna och externa uppföljningar och utvärderingar.
• Sida ska använda information om biståndets resultat för att utveckla biståndet mot det övergripande målet för svenskt bistånd. Det inkluderar att Sidas insatser ska bygga på tidigare resultat och bidra till strategimålen.
• Sida ska se till att relevant information om biståndets resultat återrapporteras till regeringen via årsredovisningar och strategirapporter, för att regeringen ska kunna styra och utveckla biståndet och rapportera om biståndets resultat till riksdagen.

1.3.2 EBA ska vara oberoende och se till att EBA:s studier är användbara för regeringen och UD

För EBA utgår vi från riksdagens uttalande att det ska finnas en fristående utvärderingsfunktion av biståndet som har ett stort mått av oberoende, samt regeringsformen som anger att de som fullgör offentliga förvaltningsuppgifter ska iaktta saklighet och opartiskhet.[30] När det gäller innebörden av kravet på opartiskhet utgår vi också från de principer som uttrycks i förvaltningslagens jävsbestämmelser.[31] Vi utgår även från regeringens direktiv till EBA som bland annat säger att EBA ska utvärdera och analysera det svenska biståndets resultat och effekter, och bidra med kunskap som underlag för regeringens styrning och utveckling av biståndet. EBA, och personer som anlitas för att genomföra studier, ska också ha en oberoende ställning i relation till det som granskas, och EBA ska självständigt välja vilka studier som ska genomföras.[32] I regeringens proposition Sveriges politik för global utveckling (PGU), som antagits av riksdagen, anger regeringen att syftet med att en utvärderingsfunktion är oberoende är att stärka och öka trovärdigheten i utvärderingsarbetet.[33]

Utifrån detta använder vi följande operationaliserade bedömningsgrunder:

• EBA ska ta fram studier av svenskt bistånds resultat.
• EBA ska ta fram studier som är användbara för UD och för regeringens styrning och utveckling av biståndet, och för regeringens rapportering till riksdagen.
• EBA ska vara oberoende i relation till det som studeras,[34] genom att EBA har styrande dokument och arbetssätt som ser till att:
  • EBA agerar självständigt vid val av vilka studier som ska genomföras, vem som ska genomföra studierna, och vilka studier som har tillräcklig kvalitet för att publiceras
  • EBA iakttar saklighet och opartiskhet vid ovan nämnda beslut
  • den som genomför en studie åt EBA har en oberoende ställning i relation till det som studeras.

Regeringen är EBA:s uppdragsgivare, men regeringens arbete kan också vara föremål för EBA:s studier. Det innebär att EBA:s studier kan omfatta beslut som regeringen har fattat, och bistånd som UD hanterar. Frågan om oberoende i relation till det som studeras har alltså även betydelse i förhållande till regeringen.

1.3.3 Regeringen bör tillvarata kunskap om biståndets resultat och rapportera om biståndets resultat till riksdagen

Regeringen ansvarar för resultatredovisningen till riksdagen.[35] Syftet är att riksdagen ska kunna analysera den statliga verksamhetens resultat i förhållande till de mål och anslag som riksdagen har beslutat om. Riksdagen behöver information för att styrningen av staten ska fungera. Vikten av resultatredovisning och på vilket sätt den ska göras preciseras i olika lagar och riktlinjer.[36] Se faktarutan nedan för mer information om de riktlinjer som riksdagen och regeringen har tagit fram för detta ändamål.

Vi använder följande operationaliserade bedömningsgrunder:

• Regeringen bör tillvarata kunskap om biståndets resultat i utformningen av nya strategier, i beslut om strategiers totala budget och i den årliga medelstilldelningen till de olika strategierna,[37] för att utveckla biståndet mot dess övergripande mål.
• Regeringen ska redovisa resultat av biståndet så att riksdagen har ett tillräckligt underlag för att analysera regeringens resultatinformation i förhållande till mål och anslagna medel.
• Regeringens styrning av EBA ska ge EBA ett stort mått av oberoende i relation till det som studeras.

1.4 Metod och genomförande

Granskningen har genomförts av en projektgrupp bestående av Linnéa Åström Tolf (projektledare), Hanna Mellergård och Anna Petersson Backteg. Alicia Ernsth (praktikant) och Arvid Åkerberg (praktikant) har också bidragit i arbetet. Två referenspersoner har lämnat synpunkter på granskningsupplägget och på ett utkast till granskningsrapporten: Björn Blom, professor i socialt arbete vid Umeå universitet, och Göran Sundström, professor i statsvetenskap vid Stockholms universitet. Företrädare för Regeringskansliet (UD), Sida och EBA har fått tillfälle att faktagranska och i övrigt lämna synpunkter på ett utkast till granskningsrapporten.

Granskningen har huvudsakligen genomförts genom dokumentstudier, intervjuer och tre fallstudier av biståndsstrategier. Vi har analyserat materialet i förhållande till våra operationaliserade bedömningsgrunder, utifrån analysmatriser för respektive område. En sammanställning av vår analys bevaras i granskningens akt. Som en del av vår granskning har vi gjort en egen bedömning av vad som utgör olika typer av resultat, se avsnitt 1.4.3.

Totalt har vi intervjuat 29 personer på Sida vid 30 intervjutillfällen, 20 personer på UD vid 18 intervjutillfällen och 3 personer på EBA vid 4 intervjutillfällen. Vi har även fått in skriftliga enkätsvar från 5 personer på UD. Vi har genomfört semistrukturerade intervjuer och ett fåtal strukturerade intervjuer, och utgick från frågeguider som var anpassade efter intervjupersonernas funktion. Se bilaga 1 för mer information om vårt urval och för en lista på genomförda intervjuer.

1.4.1 Metod per delfråga

Metod delfråga 1

Den första delfrågan avser om Sidas uppföljning och utvärdering av biståndets resultat är effektivt utformad. För att besvara den frågan har vi utöver fallstudierna tagit del av Sidas interna styrdokument, vägledningar och metodstöd, till exempel Sidas interna föreskrift för insatshantering, instruktioner för Sidas interna insatshanteringssystem och Sidas mallar för strategirapportering. Vi har även granskat valda delar av Sidas årsredovisning för 2021 och 2022, publicerade åren 2022 och 2023, och strategirapporter för de utvalda strategierna under perioden 2018–2022, framtagna åren 2019–2023, för att se hur Sida återrapporterar resultat och hur Sida gör sina bedömningar och analyser.

Vi har granskat hur Sida arbetar med att hämta in information om resultat som uppnås inom strategin, hur Sida använder resultat i utformningen av insatser och nya strategier, samt på vilket sätt Sida rapporterar till regeringen om resultat inom strategin.

Vår granskning av valda delar av Sidas årsredovisning för 2021 och 2022 omfattar tre delar av resultatredovisningen per anslagspost (Afrika, Asien och Hållbar utveckling) och en del av resultatredovisningen per tematiskt område (Klimat- och miljömässigt hållbar utveckling och hållbart nyttjande av naturresurser). De delar som vi har valt relaterar till de biståndsstrategier som vi har valt som fallstudier.

Metod delfråga 2

Den andra delfrågan avser om EBA är oberoende och bidrar med användbar kunskap om biståndets resultat till regeringen. För att besvara den andra delfrågan har vi tagit del av EBA:s styrande dokument, intervjuat EBA:s kanslichef och två experter i EBA:s expertgrupp, och intervjuat och skickat ut skriftliga frågor till strategiskt utvalda medarbetare på UD. Medarbetarna på UD valdes ut för att de har viktiga roller för biståndets utformning.

Metod delfråga 3

Den tredje delfrågan avser om regeringen arbetar med uppföljning och utvärdering av biståndets resultat på ett effektivt sätt. För att besvara den frågan har vi utöver fallstudierna intervjuat chefer och medarbetare på UD. Vi har även genomfört dokumentstudier av regeringens budgetpropositioner inom utgiftsområde 7, Internationellt bistånd. Vi har granskat budgetpropositionerna för åren 2021–2023, publicerade åren 2020–2022.

Vi har behövt justera urvalet av intervjupersoner på UD vid flera tillfällen eftersom intervjupersoner som angavs vara ansvariga för de utpekade områdena inte alltid visade sig vara det i praktiken, se bilaga 1 för mer information om vårt urval av intervjupersoner.

1.4.2 Fallstudier av biståndsstrategier

För att granska om Sidas uppföljning och utvärdering är effektivt utformad samt om regeringen arbetar effektivt med uppföljning och utvärdering har vi genomfört fallstudier av tre biståndsstrategier. Syftet med fallstudierna har varit att fokusera granskningen och göra djupgående studier av ett mindre antal fall, snarare än en mer ytlig undersökning av ett större antal.

Genom fallstudierna har vi studerat flödet av information om resultat inom strategierna från Sidas operativa verksamhet till UD, regeringen och vidare till riksdagen. Vi har också granskat regeringens styrning av Sida och Sidas rutiner och riktlinjer. Varje strategi har föregåtts av tidigare strategier inom i huvudsak samma område. Därför har varje fallstudie i viss mån även inkluderat underlag och information från föregående strategiperioder.

Avsikten med urvalet för fallstudier har varit att välja strategier som vi bedömde kunde fånga olika typer av vanliga utmaningar och framgångsfaktorer i Sidas arbete med att hämta in och använda information om resultat och rapportera om biståndets resultat. Ansatsen har inte varit att urvalet ska vara representativt för Sida som helhet, men att ändå i möjligaste mån fånga typiska exempel på arbetet med uppföljning, utvärdering och resultatrapportering. För att uppnå detta valde vi fallstudier strategiskt utifrån en sammanvägning av ett antal kriterier, se bilaga 1 för mer information om hur vi har gjort vårt urval av fallstudier.

De strategier som vi har valt för våra fallstudier är:

• landstrategin för Sveriges utvecklingssamarbete med Moçambique 2022–2026
• den regionala strategin för Sveriges regionala utvecklingssamarbete med Asien och Oceanien 2022–2026
• den tematiska strategin för Sveriges globala utvecklingssamarbete inom miljö, klimat och biologisk mångfald 2022–2026.[41]

I samtliga fallstudier har vi intervjuat handläggare och chefer på Sida. För varje strategi har vi även genomfört en fördjupad granskning av ett urval av de biståndsinsatser som Sida finansierar inom strategin. Urvalet av biståndsinsatser gjordes utifrån principen att verifiera det som framkom i intervjuer, och att verifiera att Sida följer upp biståndet som avsett. Totalt har vi genomfört en djupgående granskning av 13 biståndsinsatser som Sida finansierar, samt ytterligare 4 insatser som utgör en tidigare eller senare fas av samma insats. Se bilaga 1 för en beskrivning av urvalsprocessen för fallstudierna, och urvalskriterierna för biståndsinsatserna. För granskningen av insatser har vi tagit del av insatsdokumentation såsom uppföljningsplaner, reserapporter och Sidas bedömningar av insatsens verksamhet i Sidas sammanfattande resultatuppdatering samt samarbetspartners rapporter och Sidas ställningstagande till dessa.

1.4.3 Vi skiljer på olika typer av resultat

Det finns en viktig art- och gradskillnad mellan olika typer av resultat. Sida skiljer på prestationer (output), effekter på kort och medellång sikt (outcome), och långsiktiga, eller slutgiltiga, effekter (impact).

Definitionen av olika typer av resultat skiljer sig åt mellan olika discipliner. I denna granskning använder vi begreppet resultat när vi syftar på samtliga typer av resultat. I de fall det är nödvändigt för att förstå våra iakttagelser och slutsatser lyfter vi fram vilken typ av resultat som vi syftar på utifrån definitionerna nedan.

Vi skiljer mellan följande typer av resultat:[42]

• Prestationer (Sida använder även begreppet output) är de direkta produkter, kapitalvaror och tjänster, som en insats genererar.
• Direkta effekter (Sida använder även begreppet outcome) är en insats direkta effekter (i motsats till dess indirekta effekter) eller en insats effekter på målgruppen (i motsats till dess effekter utanför denna grupp).
• Långsiktiga eller slutgiltiga effekter (Sida använder även begreppet impact) omfattar direkta eller indirekta effekter och avsiktliga eller oavsiktliga effekter. Sida anger inte någon specifik tidsangivelse för vad som ska anses vara en långsiktig effekt. Inom andra områden definieras de långsiktiga effekterna inte alls utifrån en tidsangivelse utan definieras som slutgiltiga effekter av en insats.[43] I denna granskning kommer vi att använda begreppet långsiktiga effekter utan att ta hänsyn till en specifik tidsangivelse för när en effekt kan betraktas som långsiktig.

Figur 1 Exempel på en resultatkedja på insatsnivå

I vår genomgång av Sidas resultat i årsredovisningar, strategirapporter och insatsdokument har vi utifrån definitionerna ovan gjort en egen bedömning av vilken typ av resultat Sida redovisar. I intervjuer med Sida har vi använt oss av Sidas terminologi, på antingen svenska eller engelska.

1.4.4 Definitioner av uppföljning och utvärdering

I denna granskning kommer vi i huvudsak att tala om uppföljning och utvärdering. Såväl inom biståndsvärlden som inom offentlig förvaltning i stort finns många begrepp för olika delar av arbetet med att ta reda på hur det går med insatser och vad insatser resulterar i.

Vår definition av uppföljning

Med utgångspunkt i litteratur och Sidas definitioner definierar vi i denna granskning uppföljning som aktiviteter som görs löpande, där data samlas in för att följa hur något utvecklas i olika avseenden.[44]

Uppföljningar kan se väldigt olika ut. I Sidas genomförande av biståndet är uppföljning en del av handläggningen av varje insats. Sida anger att uppföljningen på insatsnivå har två syften: att se vilka resultat som har uppnåtts i förhållande till målen för insatsen, och att blicka framåt för att se om insatsen är på rätt spår eller behöver justeras.[45]

På strateginivå är det insatsernas bidrag till strategimålen som följs upp, och uppföljningen sker genom att Sida sammanställer insatsernas resultat i förhållande till strategimålen.[46]

Vi utgår från Sidas och EBA:s definitioner av utvärdering

I denna granskning utgår vi från myndigheternas egen terminologi gällande utvärderingar.

Sida definierar utvärdering som den systematiska och objektiva bedömningen av ett pågående eller avslutat projekt, program eller policyinsats.[47] Sida skiljer på partnerledda, centrala och decentraliserade utvärderingar (se avsnitt 2.3.1). Sidas utvärderingar använder OECD-DAC:s utvärderingskriterier, och kan därmed förutom resultat även fokusera på till exempel insatsers relevans gentemot partnerlandets egna målsättningar och på insatsens kompatibilitet med andra insatser i samma område.[48]

EBA definierar utvärdering som “a systematic inquiry into the worth or merit of an object”. Med ”worth or merit” menas att det ska finnas ett värdeomdöme. Med ”systematic” menas att värdeomdömet ska bygga på en öppet redovisad undersökning på vetenskaplig grund.[49]