Riksrevisionen logotyp, länk till startsidan.
Riksrevisionen logotyp, länk till startsidan.

3. Sidas uppföljning och utvärdering av biståndets resultat

I detta kapitel besvarar vi delfråga 1: Är Sidas uppföljning och utvärdering av biståndets resultat effektivt utformad? Vi inleder varje avsnitt med den operationaliserade bedömningsgrunden i en ruta.

Följande är våra viktigaste iakttagelser:

  • Sida hämtar in mycket information om insatsernas resultat, men hämtar inte systematiskt in information om biståndets långsiktiga effekter.
  • Sida använder information om biståndets resultat för att utveckla insatser.
  • Sidas återrapportering inkluderar en stor mängd resultat, men framför allt resultat i form av prestationer och direkta effekter. Rapporteringen inkluderar i begränsad omfattning information om biståndets långsiktiga effekter.

Avsnitt

3.1 Sida hämtar in mycket information om biståndets resultat

Sida ska hämta in information om biståndets resultat från egna och externa uppföljningar och utvärderingar.

På insatsnivå har Sida detaljerade krav på hur resultat ska hämtas in och följas upp. De granskade operativa enheterna på Sida har därtill tagit egna initiativ för att hämta in och organisera resultatinformation från de insatser som Sida finansierar. På verksövergripande nivå finns flera olika enheter som har i uppgift att hämta in både intern och extern information om resultat av såväl svenskt som globalt bistånd, och att sprida den informationen till den operativa nivån. Däremot är det ingen enhet på Sida som formellt har i uppdrag att hämta in information om specifikt de långsiktiga effekterna av Sidas insatser och strategier.

3.1.1 Sida hämtar in mycket resultat från insatser

Enligt handboken för Sidas interna insatshanteringssystem Trac ska merparten av handläggarnas arbete med insatshantering läggas på just uppföljning av respektive insats.[147] Sidas uppföljning av biståndsinsatser styrs av Sidas Regel för att hantera biståndsinsatser.[148] Insatshanteringsregeln anger att Sida ska hämta in den information som behövs för att kunna följa upp en insats på ett tillfredsställande sätt. Uppföljningen ska dokumenteras i Trac, som innehåller ett stort antal bedömningsmoment och hjälptexter som ska guida handläggaren genom hanteringen av insatser.[149]

Uppföljning och utvärdering av en insats enligt Sidas interna rutiner[150]

  • Handläggaren ska följa upp insatsen utifrån kriterierna risk och väsentlighet, från det att Sida och samarbetspartnern tecknat insatsavtal och löpande under insatsen. Sida ska vidta åtgärder om uppföljningen visar risk för att insatsens mål inte uppnås.
  • När det är relevant ska Sida utvärdera insatsen. Sida ska för varje insats ta ställning till om och när det är relevant.
  • Handläggaren ska dokumentera sina ställningstaganden till den rapportering som enligt avtal ska komma från samarbetspartnern, inklusive plan, budget och utvärdering.
  • Handläggaren bedömer minst en gång per år hur insatsen bidrar till att insatsmålen uppnås. Bedömningen dokumenteras i en sammanfattande resultatuppdatering, som beslutsfattare med dispositionsrätt godkänner. Om förutsättningarna för insatsen ändras på ett sätt som påverkar identifierade risker eller ger upphov till nya risker ska bedömningen inkludera en ny risköversyn.

I vårt urval av biståndsinsatser inom de tre fallstudierna ser vi att de operativa enheterna i stort efterlever insatshanteringsregeln och den obligatoriska uppföljningen i Trac. Vi ser att Sida i stort följer upp insatser som planerat.

Vår granskning visar vidare att insatshanteringsregeln och insatshanteringssystemet Trac är viktiga för uppföljningen av resultat i Sidas operativa verksamhet.[151] Alla Sidas insatser ska handläggas i Trac och systemet inkluderar flera olika moment. En del moment är obligatoriska och handläggaren kan inte gå vidare förrän alla frågor är besvarade.[152] Exempel på obligatoriska moment är att skriva ställningstaganden till samarbetspartnerns rapportering. Där krävs det att handläggaren kommenterar det som framkommer i samarbetspartnerns rapport med utgångspunkt i de krav på rapportering som ställs i Sidas avtal med samarbetspartnern.[153] Samarbetspartners rapporter innehåller till stor del resultat av insatsen. I intervjuer bekräftar Sida att flera av de obligatoriska momenten i uppföljningen är viktiga för att ta reda på biståndets resultat.[154]

För majoriteten av insatserna som vi har granskat ska samarbetspartnern inkomma med en resultatrapportering en gång per år, och i några enstaka fall flera gånger per år. Samarbetspartnern ska även inkomma med en slutrapport efter det att insatsen är avslutad. Sammantaget bidrar rapporteringen till att Sida hämtar in mycket information om insatsernas resultat.

Sidas ställningstaganden till inkommen rapportering innehåller oftast Sidas övergripande kommentarer till rapporten. I vår granskning är dessa kommentarer olika utförliga. Ofta innehåller kommentarerna en sammanfattning av den inkomna rapporteringen. Vissa kommenterar vad rapporteringen kan användas till (exempelvis resultatrapportering eller vidare beredning för kommande insatser),[155] och vissa ger förslag på vidare uppföljning med samarbetspartnern med anledning av det som framkommer i rapporteringen.[156] Det förekommer även att Sida bedömer de resultat som framkommer i rapporteringen, till exempel huruvida samarbetspartnerns rapporterade resultat framstår som rimliga.[157]

Samtliga handläggare i fallstudierna på Sida har även lyft fram fältbesök som ett viktigt sätt att hämta in information om insatsernas resultat, utöver obligatoriska uppföljningsaktiviteter.[158]

3.1.2 Sida sammanställer resultat i relation till strategimål

Sida ska i strategiplanen, och i strategirapporten för år 1, beskriva hur de avser att följa upp strategin.[159] I de fallstudier som vi har granskat beskrivs planerna för uppföljning och utvärdering olika utförligt och de lyfter fram delvis olika saker.[160]

Sidas uppföljning på strateginivå består av en sammanställning av insatsernas resultat i relation till målen för strategin. I våra fallstudier ser uppföljningen delvis olika ut, men i samtliga fall är handläggarna på olika sätt organiserade kring målen i respektive strategi. De har ansvar för att i samband med strategirapporteringen ta fram en resultattext för sitt ansvarsområde, med utgångspunkt i resultat från de biståndsinsatser som relaterar till målet. I en fallstudie har den operativa enheten ett gemensamt dokument för att löpande samla resultat av biståndsinsatserna och sortera dem under de olika strategimålen.[161] I en annan fallstudie har den operativa enheten en rutin för att sortera resultat utifrån målen i strategin i sina sammanfattande resultatuppdateringar.[162] I båda fallen handlar det om att underlätta arbetet vid strategirapportering.[163]

I de fallstudier som vi har granskat har det inte genomförts någon utvärdering av strategierna som helhet. I en fallstudie finns det planer på att göra en strategiövergripande utvärdering senare under strategiperioden. I en annan fallstudie finns tankar om att använda forskningsinstitut för att studera resultat inom vissa geografiska eller tematiska områden inom strategin. I den tredje fallstudien finns inte planer på någon strategiövergripande utvärdering. Däremot anser den ansvariga operativa enheten i det fallet att de avstämningar av omvärldsanalysen och portföljens relevans som enheten gör tre gånger per år blir ett sätt att utvärdera arbetet på strategiövergripande nivå.[164]

3.1.3 Handläggare väger in flera perspektiv när de väljer vem som ska ansvara för utvärderingen av en insats

I beredningen av en insats ska Sida ta ställning till om insatsen ska bli föremål för en decentraliserad utvärdering eller ej.[165] Sidas handbok för utvärderingar inkluderar riktlinjer och stöd för planering, genomförande och uppföljning av utvärderingar. Handboken ger även en övergripande vägledning i när en utvärdering bör göras och inte.[166] Sida har även ett stöd för utvärderingar tillgängligt på sitt intranät. Det har tidigare inte innehållit något stöd för att ta ställning till när eller om en utvärdering ska genomföras.[167] Sedan mitten av 2023 har Sida utvecklat detta stöd för att ge mer vägledning i just dessa frågor.[168]

De intervjuade Sida-handläggarna väger in flera olika perspektiv när de väljer om Sida eller Sidas samarbetspartner ska ansvara för en utvärdering av en insats.[169] I de fall handläggare väljer att själva avropa en utvärdering kan det till exempel bero på att de vill se en utvärdering som är mer oberoende från den genomförande organisationen, att handläggaren vill ha större inflytande över vad utvärderingen ska titta på, att utvärderingen inte fanns med från början i avtalet mellan Sida och samarbetspartnern och/eller att handläggaren bedömer att samarbetspartnern har för låg kapacitet för att kunna ta fram en utvärdering med tillräckligt hög kvalitet.[170] I de insatser som genomförs av FN-organisationer är FN-organisationen själv ofta ansvarig för utvärderingarna, medan det är vanligare att Sida gör decentraliserade utvärderingar i insatser där den genomförande samarbetspartnern är en civilsamhällesorganisation.[171]

Sida tog under perioden 2018–2023 fram 176 decentraliserade utvärderingar. Utvärderingarna har fokuserat på olika saker, inklusive resultat av insatser och strategier.[172] I vår granskning har fyra av tolv intervjuade handläggare varit ansvariga för en decentraliserad utvärdering inom ramen för fallstudierna, totalt fem utvärderingar.[173] De fyra utvärderingar som fanns publicerade under granskningsperioden har alla inkluderat slutsatser om resultat, inklusive långsiktiga effekter, av de utvärderade insatserna.[174] Samtidigt har Sida uppgett att utvärderingar av långsiktiga effekter i första hand lämpar sig för utvärdering av strategier, stödområden och andra övergripande strategiska frågor, snarare än insatser.[175]

3.1.4 Flera stödenheter på Sida bidrar till att hämta in information om biståndets resultat

Vi har identifierat sju stödjande enheter på Sidas huvudkontor som bidrar till de operativa enheternas arbete med uppföljning och utvärdering av biståndets resultat (se figur 3 i kapitel 2). De bidrar genom att stödja de operativa enheterna i arbetet med att hämta in information om resultat från de biståndsinsatser och strategier som Sida finansierar, och genom att hämta in information om resultat från externa källor och sprida den informationen inom organisationen. Vissa enheter hämtar även in information från Sidas operativa avdelningar för att sammanställa den till Sidas återrapportering till regeringen.

Sidas operativa enheter får stöd i att hämta in information om resultat

Stödet till de operativa enheterna inkluderar bland annat utbildningar i insatshantering och i hur man når resultat i insatser, samt verktyg för analyser av strategiportföljen. Det inkluderar även stöd i form av mallar, instruktioner och metodstöd samt underhåll och utveckling av Sidas insatshanteringssystem Trac, inklusive instruktioner och hjälptexter till systemet.[176] Det finns även en så kallad metodföreträdartjänst för resultatstyrning, som är placerad på Sidas enhet för effektivt stöd till insatshantering och metod.[177]

Sidas enhet för utvärdering erbjuder stöd och råd kopplat till utvärdering. När det gäller de decentraliserade utvärderingarna handlar stödet oftast om att ge råd i utformningen av utvärderingens uppdragsbeskrivning innan en decentraliserad utvärdering ska avropas från Sidas ramavtal för utvärderingar.[178] Det är valfritt att rådfråga Sidas enhet för utvärdering, och de som beställer utvärderingar behöver inte heller följa de råd som de får. Det är ungefär hälften av de som ansvarar för en decentraliserad utvärdering som vänder sig till Sidas utvärderingsenhet för råd och stöd.[179] De handläggare som vi intervjuat och som har fått stöd från Sidas utvärderingsenhet har samtliga tyckt att stödet varit bra.[180] Sidas utvärderingsenhet har gjort en egen intern undersökning av hur de som fått stöd har uppfattat stödet. Även i den undersökningen är bilden att de som fått stöd är nöjda med det stödet.[181]

Sidas stödjande enheter hämtar resultatinformation från egna och externa källor

I våra intervjuer uppger Sida att de stödjande enheterna även arbetar med att hämta in information från forskning, uppföljning och utvärdering som olika internationella aktörer tar fram, och från internationella databaser.[182] Sidas chefsekonomteam tar bland annat fram så kallade Development Economic Briefs en till två gånger per år som analyserar aktuella frågor som är kopplade till fattigdom. De tar även fram stödmaterial och utbildningar som rör fattigdom och ekonomisk utveckling. Sidas ramverk för att göra en multidimensionell fattigdomsanalys är ett av de verktyg som chefsekonomteamet ansvarar för att vidareutveckla och ge stöd kring.[183]

På Sidas enhet för tematiskt stöd arbetar så kallade tematiker som ansvarar för att bevaka kunskapsläget och hämta in aktuell information inom ungefär 15 olika tematiska områden.[184] Den information som Sida tar fram internt, till exempel via de centrala utvärderingarna, är en del av informationsunderlaget. De interna underlagen kompletteras dock med material från andra, ofta större internationella aktörer.[185]

Sida publicerar cirka 3–5 centrala utvärderingar per år. De har olika fokus, både geografiskt och tematiskt, och tittar på såväl resultat som lärande i relation till det arbete som Sida gör och ger stöd till. Under perioden 2018–2023 publicerade Sida totalt 19 centrala utvärderingar. Av de utvärderingarna har 14 tittat på resultat av den verksamhet som utvärderats, och i 12 av dem har utvärderarna tittat på de långsiktiga effekterna av den utvärderade verksamheten.[186]

3.1.5 Sida är bra på att fånga prestationer av insatser, men i mycket liten grad långsiktiga effekter av insatser och strategier

Enligt vår granskning är Sidas system för uppföljning och utvärdering bra på att fånga prestationer och direkta effekter av Sidas insatser och strategier, samtidigt som det i mycket begränsad utsträckning fångar upp långsiktiga effekter. De resultat som fångas upp på insatsnivå kommer framför allt från insatsrapportering och utvärderingar, men kan även komma från dialog med, och besök hos, samarbetspartner och målgrupper för insatser. Därtill kan vi se att långsiktiga effekter rapporteras oftare i geografiskt fokuserade insatser än i regionala och globala insatser. I vår granskning framkommer inte att Sida hämtar in resultat på strategiövergripande nivå utöver de resultat som hämtas in på insatsnivå.[187]

I intervjuer framkommer flera olika anledningar till att Sida mer sällan fångar upp långsiktiga effekter av insatser. En anledning är att långsiktiga effekter ofta tar längre tid att uppnå och påvisa,[188] samtidigt som uppföljning och utvärdering huvudsakligen sker under den tid som insatserna pågår​.[189] Sida gör inte heller någon uppföljning av strategier utanför aktuell strategiperiod.

En annan anledning är att de insatser som Sida stöder inte alltid har mål om långsiktiga effekter, och därmed ofta inte heller rapportering om långsiktiga effekter av insatserna. I de biståndsinsatser som vi gjort en fördjupad granskning av har vi sett att Sidas samarbetspartner huvudsakligen rapporterar om de mål och indikatorer som finns i insatsernas resultatramverk.

Resultatramverk

Ett resultatramverk är en sammanhållen beskrivning av den kedja av aktiviteter som ska genomföras, och delmål som är tänkta att bidra till det övergripande målet för en insats. Det inkluderar en insats mål, indikatorer för att mäta utvecklingen mot målen, och de aktiviteter som är tänkta att genomföras för att nå målen. Det finns olika modeller för exakt hur ett resultatramverk ska se ut och vad det ska innehålla.

När samarbetspartners resultatramverk inte innehåller mål och indikatorer som är kopplade till långsiktiga effekter, rapporterar samarbetspartnerna vanligtvis inte heller några långsiktiga effekter.[190] Vi ser även i våra fallstudier att vissa mål på strateginivå snarare handlar om direkta effekter än långsiktiga effekter av biståndet.[191]

En annan anledning till att systemet mer sällan hämtar in långsiktiga effekter av biståndet är generella brister i samarbetspartnerns resultatramverk för insatsen. Det kan till exempel handla om att insatsens mål inte är tillräckligt specifika eller mätbara för att det ska vara möjligt att följa upp vad insatsen bidragit till.[192] Intervjupersoner uppger att om samarbetspartnerns resultatramverk har brister så arbetar Sida aktivt med att stärka resultatramverket.[193] Det är också något som vi ser i våra fördjupade granskningar av ett urval av biståndsinsatser. Vi har till exempel sett att Sida har valt att skjuta till extra medel för att möjliggöra att en samarbetspartner stärker sin kapacitet att arbeta med utvärdering och uppföljning, eller krävt att samarbetspartnern förbättrar sitt resultatramverk för att inte riskera utfasning av stödet.[194]

Även när det gäller uppföljning på strateginivå är avsaknaden av ett tydligt ramverk ett hinder för att identifiera långsiktiga effekter. Intervjupersoner lyfter fram att det övergripande ramverk som tas fram i samband med operationaliseringen av strategin inte alltid är tillräckligt för att under strategiperioden kunna följa och identifiera långsiktiga effekter av strategin som helhet.[195] Det finns ingen intern styrning på Sida som ställer krav på hur strategimål, stödområden eller portföljer ska följas upp, samt om och när de ska utvärderas.

De operativa enheterna ansvarar för att planera och genomföra uppföljning av strategimål, stödområden och portföljer och ska beskriva hur strategin ska följas upp och utvärderas i strategiplaner. I de fallstudier som vi har granskat har Sida inte följt upp eller utvärderat långsiktiga effekter på strategiövergripande nivå. Det finns ett skriftligt stöd på Sida för arbetet med att ta fram uppföljningsplaner på strateginivå, men det används inte i alla strategier.[196]

3.2 Sida använder information om resultat för att utveckla insatser

Sida ska använda information om biståndets resultat för att utveckla biståndet mot det övergripande målet för svenskt bistånd. Det inkluderar att Sidas insatser ska bygga på tidigare resultat och bidra till strategimålen.

I nästan samtliga insatser som vi har granskat kan vi se att Sida använder information om biståndets resultat för att utveckla insatser mot att nå insatsernas mål. Sida hänvisar även till resultat när justeringar görs i sammansättningen av insatser inom strategier. Det är oklart i vilken utsträckning det kunskapsmaterial som tas fram av Sidas stödjande enheter används för att utforma biståndet.

3.2.1 Sida använder information om insatsers resultat för att utveckla insatser i syfte att nå strategimål

I nästan samtliga av de biståndsinsatser vi har granskat kan vi se att Sida använder information om biståndets resultat för att utveckla insatser i syfte att nå målen för insatsen, och målen för den aktuella strategin. Sida har både gjort justeringar inom ramen för pågående insatser och använt resultat från tidigare insatser när de berett nya insatser.

Vi ser framför allt att Sida beviljar stöd med hänvisning till tidigare uppnådda resultat om sådana finns. I majoriteten av de biståndsinsatser som ingått i den fördjupade granskningen har Sida tydligt och utförligt redogjort för uppnådda resultat i tidigare fas av insatsen. Det kan vara resultat som samarbetspartnern har uppnått i andra insatser eller resultat som Sida har tagit del av på andra sätt. I ett par fall hänvisar Sida till tidigare resultat, men beskriver inte vad resultaten är. Det enda som framkommer i dessa fall är att tidigare resultat är positiva. I en insats saknas helt hänvisningar till resultat, men där har Sida i stället utförligt redogjort för forskning om hur denna typ av insats ska nå resultat.[197]

I samtliga fall kan vi se att Sida argumenterar för att den insats som bereds förväntas bidra med resultat som är viktiga för att nå målen för strategin.[198] Sidas insatshanteringssystem Trac kräver inte att handläggarna ska hänvisa till tidigare resultat i beredningen av en ny insats, men däremot att handläggarna ska motivera hur insatsen förväntas bidra till att uppnå målen för strategin. Trac kräver också att handläggarna ska beskriva hur insatsen ska nå sina mål, och att de ska bedöma riskerna för att insatsens mål inte nås. Handläggarna ska även beskriva hur de ska hantera eventuella risker för att målen inte nås, och sedan genomföra de åtgärder som de har identifierat som nödvändiga för att minimera eller undvika riskerna.[199]

3.2.2 Sida använder tidigare resultat i arbetet med nya strategier

Utöver Sidas arbete med att utveckla insatser utformar Sida biståndet genom att välja vilka insatser som ska ingå i en strategiportfölj, och vilka samarbetspartner som ska genomföra insatserna. Arbetet med att välja vilka insatser som ska ingå i en strategi sker till stor del i Sidas operationalisering av nya strategier.[200]

Sidas arbete med att operationalisera de nya strategierna har sett delvis olika ut i våra tre fallstudier, men har i alla tre fall utgått ifrån en multidimensionell fattigdomsanalys och de mål och prioriteringar som finns i de nya strategierna. Vi kan se att tidigare erfarenheter och resultat förekommer på olika sätt i operationaliseringsprocessen. Utifrån en sammantagen analys av fattigdomssituationen, strategins mål och prioriteringar samt tidigare erfarenheter och resultat landar Sida i förändringsteorier, och slutsatser om vilka justeringar som Sida bör göra inom ramen för strategin. Justeringarna handlar främst om att fasa ut och/eller inleda nya insatser och/eller samarbeten.[201]

3.2.3 Nätverken uppfattas som centrala för att sprida information, men det är delvis oklart hur informationen används

Nätverk och utbildningar ska sprida information om hur man når resultat inom biståndet

De stödjande enheterna på Sida bidrar på olika sätt till att se till att information om biståndets resultat används i den operativa verksamheten. Sidas interna nätverk, och i synnerhet de tematiska nätverken, uppfattas som centrala i arbetet med att sprida information till resten av verksamheten.[202]

De tematiska nätverken samordnas av Sidas enhet för tematiskt stöd. Syftet med nätverken är att bidra till lärande och erfarenhetsutbyte på Sida genom seminarier, möten och tillgång till evidensbaserad kunskap, forskning och andra underlag.[203] Tematiker på Sidas enhet för tematiskt stöd har tematiskt ansvar för att bevaka kunskapsläget inom sitt område, hämta in aktuell information och genom nätverken sprida den vidare i organisationen.[204]

Nätverken består av handläggare som arbetar med samma frågor inom olika delar av Sida.[205] Det är framför allt genom de tematiska nätverken som Sidas medarbetare tar del av lärande och den senaste informationen inom respektive tematiska område. Därför är tanken att alla medarbetare i den operativa verksamheten ska vara med i minst ett tematiskt nätverk.[206]

Nätverken uppfattas som viktiga, men det är oklart i vilken utsträckning material som Sida tar fram centralt används i utformningen av insatser

Handläggare uppger i intervjuer att de har använt sig av material som Sida tagit fram centralt. Det handlar framför allt om metodstöd om olika tematiska frågor, men även utvärderingar som Sida tagit fram centralt har varit användbara.[207]

Det är dock oklart i vilken utsträckning information från de tematiska nätverken påverkar utformningen av insatser eftersom det inte framkommer i underlag eller intervjuer i våra fallstudier.[208] Samtidigt är de flesta handläggare som vi har intervjuat med i ett eller flera nätverk, och tycker att det är ett bra sätt att få del av aktuell information inom sitt tematiska område.[209] Några tycker att nätverken är forum för stöd och gemensamt lärande.[210]

Flera handläggare menar att den främsta fördelen med att vara med i ett nätverk är att knyta kontakter med andra på myndigheten som arbetar med samma tematiska frågor. Utifrån de kontakter som de får i nätverken kan handläggarna sedan ta direktkontakt med kollegor på andra enheter när de har behov av stöd.[211] Flera handläggare lyfter fram betydelsen av att ha personer som de kan höra av sig till för att få stöd i olika typer av frågor.[212]

Material som Sida tar fram centralt används till viss del i utformningen av strategier

I våra fallstudier har Sida gjort fattigdomsanalyser som Sida har använt i sina underlag till regeringen för nya strategier och som underlag i operationaliseringen av de nya strategierna. I arbetet med fattigdomsanalyserna har den operativa enheten utgått ifrån de mallar och instruktioner som Sida har tagit fram centralt. I två av våra fallstudier har Sida även haft stöd av analyser som Sidas så kallade helpdesks har tagit fram. Granskningen visar även att Sida använder fattigdomsanalyser och kunskap från internationella aktörer i underlag till nya strategier och som underlag i operationaliseringen av de nya strategierna. Vi kan däremot inte säkerställa att dessa underlag har tagits fram av de stödjande enheterna.

3.3 Sidas återrapportering till regeringen omfattar endast i begränsad utsträckning långsiktiga effekter

Sida ska se till att relevant information om biståndets resultat återrapporteras till regeringen via årsredovisningar och strategirapporter, för att regeringen ska kunna styra och utveckla biståndet och rapportera om biståndets resultat till riksdagen.

Granskningen visar att Sidas strategirapporter inkluderar relevant information om biståndets prestationer och direkta effekter, men att de i mycket begränsad utsträckning innehåller information om biståndets långsiktiga effekter. Även Sidas årsredovisningar innehåller i mycket begränsad omfattning information om biståndets långsiktiga effekter. Det finns flera anledningar till det. En anledning är att Sida inte hämtar in så mycket information om biståndets långsiktiga effekter (se avsnitt 3.1.5), och en annan är att formatet och rutinerna kring återrapporteringen begränsar Sidas möjligheter att rapportera om biståndets långsiktiga effekter.

3.3.1 Begränsat med information om långsiktiga effekter i Sidas strategirapporter och årsredovisningar

Vår granskning visar att Sidas strategirapporter och årsredovisningar i mycket begränsad omfattning innehåller information om biståndets långsiktiga effekter. Vi ser att formatet och rutinerna kring Sidas strategirapportering begränsar Sidas möjligheter att rapportera om biståndets effekter, särskilt när det gäller mer långsiktiga effekter (se avsnitt 1.4.3 för en redogörelse av typer av resultat).

Sidas strategirapporter lämnar inte utrymme att beskriva mer långtgående resultat av biståndet

Vår granskning av Sidas strategirapporter visar att utrymmet i rapporterna för att rapportera om biståndets resultat är begränsat. Strategirapporterna ska förutom en analys av resultat bland annat inkludera förändringar och Sveriges roll i strategisammanhanget, utvecklingstrend, en presentation av de insatser och samarbetspartner som fått stöd inom strategin.

Sidas enhet för verksamhetsstyrning är ansvarig för att tillhandahålla och utveckla mallar för strategirapporterna, som används av den operativa verksamheten i framtagandet av strategirapporten.[213] Mallarna sätter ramar för utrymmet för resultatredovisningen, och anger att beskrivningen av resultat ska uppgå till max en sida per strategimål, och att exempel på resultat ska vara ”korta”. För den första strategirapporten för en ny strategi har hela resultatredovisningen, från och med år 2020, en sidbegränsning på 4 sidor.[214]

I vår granskning av strategirapporter kan vi se att Sida ägnar ungefär lika mycket utrymme åt vart och ett av strategins olika stödområden (se kapitel 2 för en beskrivning av regeringens styrning genom strategier). Under varje stödområde presenterar Sida resultat från flera olika insatser. Vi ser att Sida ägnar mer utrymme åt att beskriva aktiviteter och prestationer av insatser än att lyfta fram effekter, och i synnerhet långsiktiga effekter, av insatser.[215]

Sida lyfter själva fram att strategirapporternas format ger Sida begränsade möjligheter att beskriva mer långtgående resultat.[216] Det framgår i intervjuer att det kan vara svårt att beskriva mer långtgående resultat så att de blir begripliga för en extern läsare när formatet är så kortfattat.[217]

Vi har även i våra fallstudier kunnat se att formatet för strategirapporten är begränsande. Ett exempel är när en samarbetspartner beskrivit effekterna av en insats i sin rapportering till Sida, men när Sida i sin tur beskriver samma resultat i strategirapporteringen är det så kortfattat att det är svårt att utläsa vad insatsen verkligen har bidragit till.[218]

Vi har också sett att vid de tillfällen då Sida har prioriterat att lägga en större del av utrymmet i strategirapporten på en enskild insats så framgår mer långtgående resultat från de insatserna tydligare.[219]

Sida eftersträvar en bredd i strategirapporterna

Vi ser i våra fallstudier att Sida strävar efter att strategirapporterna ska ge en bred bild av utvecklingen inom de olika stödområdena inom strategin. Det innebär bland annat att Sida försöker lyfta fram resultat från olika typer av aktörer, och olika insatser, samt att inte lyfta samma insats eller liknande resultat i efterföljande strategirapporter. Sida strävar efter att säga något om alla olika områden i strategin, även om det kanske inte finns mer att säga om vissa områden än att en viss planerad aktivitet genomförts.[220] I intervjuer framgår att det kan leda till en prioritering mellan att ge en kortfattad rapportering av flera olika insatser eller att ge en fördjupad rapportering av enskilda insatser.[221]

En risk med att Sida eftersträvar en bredd i strategirapporteringen är att Sida inte redovisar viktiga och långtgående resultat trots att det finns då Sida har redovisat aktiviteter eller prestationer av samma insats tidigare.

Vår granskning visar även att det främsta underlaget till Sidas strategirapportering utgörs av samarbetspartners årsrapporter som fokuserar på vad som uppnåtts under det senaste året, vilket oftast är aktiviteter och prestationer.[222]

Sidas årsredovisningar innehåller i vissa delar mycket information om biståndets resultat

Riksrevisionen granskar årligen att Sidas årsredovisning möter de lagstadgade kraven på myndigheternas årsredovisning, och regeringens krav på Sida i regleringsbrev och instruktion. För 2018–2022 har Sida uppfyllt kraven och i årsredovisningen gett regeringen den information om verksamheten som regeringen har efterfrågat.[223]

Årsredovisningarna ger stort utrymme åt resultatredovisning, till skillnad från strategirapporterna. Vår fördjupade granskning av valda delar av Sidas årsredovisning för 2021 och 2022 (se avsnitt 1.4.1 för en beskrivning av vårt urval) visar att den tematiska redovisningen är mer omfattande än redovisningen per anslagspost och innehåller en stor mängd resultat, inklusive en del information om långsiktiga effekter av biståndet. Redovisningen per anslagspost är däremot mycket kortfattad och innehåller mycket få resultat.[224]

  • [147] Sida, Trac A guide to contribution management at Sida, rev. 2020.
  • [148] Sida, Regel för att hantera biståndsinsatser, 2021, s. 10ff.
  • [149] Sida, Utskrift av Trac med frågor och hjälptexter, 2021.
  • [150] Informationen i rutan bygger på Sida, Regel för att hantera biståndsinsatser, 2021, s. 10ff, och Sida, Utskrift av Trac med frågor och hjälptexter, 2021.
  • [151] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [152] Mejl från företrädare för Sida, 2023-12-15.
  • [153] Sida, Utskrift av Trac med frågor och hjälptexter, 2021, s. 141 ff.
  • [154] Intervju med chef och medarbetare på operativ enhet på Sida, 2023-05-29; intervju med medarbetare på Sida, 2023-05-22a; 2023-05-22b; 2023-05-24; 2023-05-30; 2023-06-01; 2023-06-08; 2023-06-12a; 2023-06-12b; 2023-06-21a; 2023-06-21b; 2023-06-21c. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [155] Se till exempel Sida, Ställningstagande till rapport, för insats Oxfam Transboundary Water Governance TROSA 2016–2022, 2023.
  • [156] Se till exempel Sida, Ställningstagande till rapport, för insats UNEP 2018–2022, 2021.
  • [157] Se till exempel Sida, Ställningstagande till rapport, för insats RECOFTC Community Forestry 2016–2023, 2023.
  • [158] Intervju med chef på operativ enhet på Sida, 2023-05-12; intervju med chef och medarbetare på operativ enhet på Sida, 2023-05-29; intervju med medarbetare på Sida, 2023-05-22a; 2023-05-24; 2023-05-30;
    2023-06-01; 2023-06-08; 2023-06-12a; 2023-06-12b; 2023-06-21b; 2023-06-21c.
  • [159] Sida, Anvisning för strategiplan, 2021 (för strategier beslutade före 1 juni 2022); Sida, Strategirapportsmall för år 1, 2023.
  • [160] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [161] Gäller fallstudien av strategin för Sveriges regionala utvecklingssamarbete med Asien och Oceanien 2022–2026. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [162] Ibid. Gäller fallstudien av strategin för Sveriges globala utvecklingssamarbete inom miljö, klimat och biologisk mångfald 2022–2026.
  • [163] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [164] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt. Nämnda avstämningar görs i februarimars i samband med att enheten tar fram strategirapporten, i september i samband med att de gör en uppdatering i relation till strategirapporten, och i novemberdecember när de tar fram strategiplan för kommande år.
  • [165] Sida, Sida’s Evaluation Handbook – Guidelines and Manual for Conducting Evaluations at Sida, 2020.
  • [166] Sida, Sida’s Evaluation Handbook – Guidelines and Manual for Conducting Evaluations at Sida, 2020.
  • [167] Sida, Menystruktur Inside (2018–2023), u.å.
  • [168] Sida, Menystruktur för utvärderingsstöd på Sidas nya intranät, 2023.
  • [169] Intervju med medarbetare på Sida, 2023-06-12b; 2023-08-22b.
  • [170] Intervju med medarbetare på Sida, 2023-06-21c; 2023-08-22a; 2023-08-22b; 2023-06-12a; 2023-06-12b; 2023-06-08; 2023-06-01.
  • [171] Intervju med medarbetare på Sida, 2023-06-21a; 2023-06-21b; 2023-08-22b.
  • [172] Sida, ”Publikationer inom biståndet”, hämtad 2024-01-16.
  • [173] Intervju med medarbetare på Sida, 2023-06-01; 2023-06-08; 2023-06-12a; 2023-06-12b; 2023-06-21a;
    2023-06-21b; 2021-06-21c; 2023-08-21a; 2023-08-21b; 2023-08-22a; 2023-08-22b; 2023-08-22c.
  • [174] FCG Sweden, Evaluation of Strengthening Regional Awareness and Ownership of Forest Governance Issues in the Greater Mekong and Other Regions of Asia (2014–2023), 2023; Nordic Consulting Group, Final evaluation of financial sector deepening Mozambique (FSDMoc) 2016-2020, 2023; Nordic Consulting Group, End of Project Evaluation of the One UN-SRHR for girls and young women in Mozambique – Rapariga Biz Program, 2016-2019, 2023; NIRAS Sweden AB, End of Project Evaluation of the Ipas project: Expanding women’s and girls’ access to comprehensive abortion and contraception care in Nampula and Zambezia provinces in Mozambique, 2022. En utvärdering var vid tiden för Riksrevisionens granskning ännu inte avslutad och publicerad.
  • [175] Se mejl från företrädare för Sida, 2024-01-16; 2024-01-29.
  • [176] Sida, Handläggningsordning för Enheten för effektiv insatshantering och metoder (EFFEKT) på Avdelningen för Ledningsstöd, 2019.
  • [177] Se mejl från företrädare för Sida, 2024-01-16.
  • [178] Möte med chef på stödjande enhet på Sida, 2022-12-21.
  • [179] Möte med chef på stödjande enhet på Sida, 2022-12-21.
  • [180] Intervju med medarbetare på Sida, 2023-05-24; 2023-06-01; 2023-06-08; 2023-06-21c; 2023-08-22a.
  • [181] Undersökningen gick ut till 78 respondenter som alla hade beställt decentraliserade utvärderingar under perioden 2021–2022. 17 personer svarade (35 % svarsfrekvens). Av de 17 som svarade hade 15 fått stöd från Sidas enhet för utvärdering och de var överlag nöjda med det stöd som de hade fått. Sida, Feedback beställare utvärderingar 2021–2022, u.å.
  • [182] Intervju med chef på stödjande enhet på Sida, 2023-03-27c; intervju med medarbetare på Sida, 2023-03-27e.
  • [183] Intervju med medarbetare på Sida, 2023-03-27e.
  • [184] Enligt intervjuperson på Sida varierar antalet tematiska områden, och vilka områden det handlar om, över tid beroende på behov. Intervju med chef på stödjande enhet på Sida, 2023-03-27c.
  • [185] Intervju med chef på stödjande enhet på Sida, 2023-03-27c.
  • [186] Centrala utvärderingar publicerade under perioden 2018–2022: Sida, ”Publikationer inom biståndet”, hämtad 2024-01-16. Webbsidan listar totalt 22 utvärderingar. Dock består två av de listade dokumenten enbart av bilagor till en annan utvärdering, och ett av de listade dokumenten är en decentraliserad utvärdering i stället för en central utvärdering.
  • [187] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [188] Intervju med chef på operativ enhet på Sida, 2023-05-12; 2023-06-05; intervju med chef och medarbetare på operativ enhet på Sida, 2023-05-29; intervju med medarbetare på Sida, 2023-06-01; 2023-06-08;
    2023-06-12a; 2023-06-12b; 2023-06-21a; 2023-06-21b; 2023-08-21b.
  • [189] Intervju med chef på operativ enhet på Sida, 2023-06-05; intervju med medarbetare på Sida, 2023-06-08; 2023-06-12b; 2023-06-21a; 2023-06-21b; 2023-08-21b. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [190] I vår granskning förekommer det ett undantag till detta, då en partner rapporterar långsiktiga effekter trots att dessa inte ingår i resultatramverket. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [191] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [192] Intervju med chef och medarbetare på operativ enhet på Sida, 2023-05-29; intervju med medarbetare på Sida, 2023-06-08; 2023-06-12a; 2023-08-22a.
  • [193] Intervju med chef och medarbetare på operativ enhet på Sida, 2023-05-29; intervju med medarbetare på Sida, 2023-06-08; 2023-06-12a.
  • [194] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [195] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [196] Mejl från företrädare för Sida, 2024-02-08; Sida, Example: Format Monitoring and Evaluation Plan for development cooperation strategies, 2022.
  • [197] I ytterligare två fall är det oklart om resultat används i beredningen eftersom vi inte har tagit del av samtliga beredningsunderlag. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [198] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [199] Sida, Utskrift av Trac med frågor och hjälptexter, 2021.
  • [200] Se Riksrevisionen, Vem, hur och varför? – Sidas val av samarbetspartner och biståndsformer, 2022.
  • [201] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [202] Intervju med chef på stödjande enhet på Sida, 2023-03-27a; 2023-03-27c; intervju med medarbetare på Sida, 2023-03-27e. Det finns ytterligare nätverk inom Sida, till exempel nätverk för controller, chefer respektive analytiker. Vi fokuserar här på de tematiska nätverken eftersom de har identifierats i intervjuer som viktiga i arbetet med att sprida kunskap internt på Sida.
  • [203] Sida, Sida’s Thematic Networks, 2021.
  • [204] Sida, Arbetsbeskrivning för befattning handläggare utvecklingssamarbete med placering på INTEM/TEMA, 2023.
  • [205] Sida, Sida’s Thematic Networks, 2021.
  • [206] Intervju med chef på stödjande enhet på Sida, 2023-03-27c.
  • [207] Intervju med medarbetare på Sida, 2023-05-22b; 2023-06-01; 2023-06-21b; 2023-08-21a.
  • [208] Sida uppger i faktagranskningen av denna rapport att information från de tematiska nätverken används i utformningen av strategier. Det är inget som vi kan verifiera. Se mejl från företrädare för Sida, 2024-01-16; 2024-01-29. Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [209] Intervju med medarbetare på Sida, 2023-05-22b; 2023-05-24; 2023-05-30; 2023-06-21a; 2023-06-21b;
    2023-06-21c; 2023-08-21a; 2023-08-21b.
  • [210] Intervju med medarbetare på Sida, 2023-05-22b; 2023-05-24; 2023-05-30.
  • [211] Intervju med medarbetare på Sida, 2023-06-12a; 2023-06-01; 2023-06-08.
  • [212] Intervju med medarbetare på Sida, 2023-05-22b; 2023-05-24; 2023-05-30; 2023-08-21a; 2023-08-21b.
  • [213] Sidas Mall för strategirapport år 1; Mall för årlig strategirapport; Mall för fördjupad strategirapport, år 2019–2021, och 2023.
  • [214] Detta har gällt från och med år 2019 för mallarna för fördjupade strategirapporten, och från 2020 för den årliga. Tidigare versioner av mallarna har sett delvis annorlunda ut. År 2019 var sidbegränsningen för den första strategirapporten endast 1 sida. Riktlinjerna för strategier ställer inte krav på att Sidas första strategirapport ska innehålla en resultatredovisning, men Sida framhåller att detta är något som har efterfrågats av UD i dialogen med Sida. Se Sidas Mall för strategirapport år 1; Mall för årlig strategirapport; Mall för fördjupad strategirapport, år 2019–2021, och 2023; mejl från företrädare för Sida 2024-02-02; bilaga till regeringsbeslut UD2017/21053/IU.
  • [215] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier. En sammanställning av vår analys bevaras i granskningens akt.
  • [216] Intervju med chef på operativ enhet på Sida, 2023-06-05; intervju med medarbetare på Sida, 2023-06-21a.
  • [217] Intervju med chef på operativ enhet på Sida, 2023-06-05; intervju med medarbetare på Sida, 2023-05-24.
  • [218] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [219] Se Sidas strategirapporter under perioden 2018–2022 för strategierna för Sveriges utvecklingssamarbete med Moçambique 2022–2026, för Sveriges regionala utvecklingssamarbete med Asien och Oceanien 2022–2026 och för Sveriges globala utvecklingssamarbete inom miljö, klimat och biologisk mångfald 2022–2026.
  • [220] Intervju med chef på operativ enhet på Sida, 2023-05-08; 2023-05-12; intervju med medarbetare på Sida, 2023-06-01; 2023-06-12b; 2023-06-21b; 2023-08-22a.
  • [221] Intervju med chef på operativ enhet på Sida, 2023-05-08.
  • [222] Se bilaga 1 för en beskrivning av hur vi har genomfört analysen av fallstudier och biståndsinsatser, och för en lista över de insatser som ingår i vårt urval. En sammanställning av vår analys bevaras i granskningens akt.
  • [223] Se förordning (2000:605) om årsredovisning och budgetunderlag, samt Riksrevisionens revisionsberättelser gällande Sida för 2018–2022.
  • [224] En sammanställning av vår analys bevaras i granskningens akt.

Uppdaterad: 19 mars 2024

Kontakta oss

Skicka dina frågor eller synpunkter via formuläret nedan så ser vi till att de når rätt handläggare. Ange gärna om din fråga har att göra med informationen på just den här sidan. Genom att skicka in en fråga till oss medger du behandling av dina personuppgifter i enlighet med EU:s dataskyddsförordning (GDPR).

Läs mer om behandling av personuppgifter

Vad handlar din fråga om?
Vad handlar din fråga om?