4. Expertgruppen för biståndsanalys bidrag till regeringens styrning och utveckling av biståndet

Avsnitt

4.1 EBA tar fram studier av svenskt bistånds resultat

Enligt regeringens direktiv till EBA ska EBA kontinuerligt utvärdera och analysera Sveriges internationella bistånd, och en central del av uppdraget är bedömning av det svenska biståndet avseende bland annat måluppfyllelse och effekter.[225] Granskningen visar att EBA tar fram utvärderingar och analyser av svenskt bistånds resultat, men att dessa utgör en mindre andel, 30 procent, av de EBA-rapporter som EBA tar fram.

EBA tar fram olika typer av studier såsom utvärderingar, analyser, kartläggningar, översikter och metodbeskrivningar.[226] Direktiven anger att regeringen är EBA:s främsta målgrupp, men att EBA:s studier även kan vara av intresse för andra aktörer, såsom biståndsaktörer i och utanför Sverige, riksdagen och den svenska allmänheten.[227] Till exempel är de metodstudier som EBA tar fram ofta riktade till andra målgrupper än regeringen. Syftet med de studierna är enligt EBA att bidra till att olika aktörer kan göra ett högkvalitativt arbete, vilket i sin tur kan bidra till ett bättre bistånd.[228]

Under perioden 2018–2022 publicerade EBA totalt 44 studier inom ramen för EBA:s publikationsserie EBA-rapporter.[229] Av de rapporterna (13 EBA-rapporter) tittar 30 procent helt eller delvis på resultat av just det svenska biståndet.[230]

EBA:s direktiv anger att EBA bland annat ska studera biståndets resultat, måluppfyllelse och effekter.[231] Samtidigt utvärderar EBA vanligtvis inte enskilda projekt eller program,[232] och därför inte heller resultat, måluppfyllelse och effekter av enskilda biståndsinsatser. Däremot har EBA gjort effektutvärderingar av det samlade svenska biståndet till enskilda länder eller inom vissa tematiska områden.[233] EBA anser inte att de har finansiella förutsättningar för att göra effektutvärderingar av experimenttyp och inte heller att sådana passar uppdraget bättre än de effektutvärderingar som EBA gör idag.[234] Med sina metodstudier vill EBA bidra till att öka även andra aktörers kapacitet att göra utvärderingar av biståndets långsiktiga effekter.[235] EBA lyfter fram att en av biståndsbranschens utmaningar med att få till bra utvärderingar av biståndets långsiktiga effekter är att det finns alltför få som har kompetens inom både bistånd och metoder för effektutvärdering, och att det därför blir viktigt att bidra till att utveckla metodkompetensen på området.[236]

EBA menar att det inte alltid är relevant eller möjligt att studera vad just svenskt bistånd leder till. Det handlar snarare om att studera teman som är av relevans för det svenska biståndet. Det kan till exempel handla om att titta på specifika typer av bistånd, såsom demokratibistånd eller budgetstöd, och utifrån det dra slutsatser om vad som verkar fungera och inte. De lärdomarna kan sedan användas för att utforma ett effektivt svenskt bistånd.[237]

4.2 EBA arbetar aktivt för att göra studierna användbara, och studierna har använts till viss del

Granskningen visar att EBA på olika sätt arbetar aktivt för att göra EBA:s studier användbara för regeringen och UD och att EBA:s studier har använts av medarbetare på UD till viss del. Studierna har använts i rapportering av biståndet och har bidragit med fördjupad kunskap.

4.2.1 EBA arbetar aktivt för att göra studierna användbara

EBA har genomfört interna analyser av hur EBA:s studier används, och vad EBA kan göra för att öka studiernas användbarhet.[238] Utifrån dessa analyser, och Statskontorets översyn av EBA, har EBA vidtagit olika åtgärder för att göra sina studier mer användbara för regeringen och UD.

En del i det handlar om att identifiera vilka behov av underlag regeringen och UD har. För att göra det arbetar EBA med omvärldsanalys och löpande dialog med olika aktörer inom biståndet, inklusive dialog med UD och Sida.[239]

En annan del i att göra studierna användbara för regeringen och UD är att göra studiernas resultat lättillgängliga. EBA tar därför fram kortfattade sammanfattningar av alla de studier som publiceras inom ramen för EBA:s publikationsserie EBA-rapporter,[240] och erbjuder även föredragningar för UD.[241] Med utgångpunkt i studierna gör EBA även podcast-avsnitt,[242] och genomför seminarier som spelas in och kan ses i efterhand.[243] Det framgår i intervjuer att UD-medarbetare tycker att det är positivt att EBA gör podcast-avsnitt och korta sammanfattningar och erbjuder speciella föredragningar för UD utifrån sina studier.[244]

Vi konstaterar att flera av intervjupersonerna på UD har haft olika roller och ansvar under de senaste åren.[245] Det innebär både att de har haft ansvar för ett specifikt område, eller en specifik process, under en begränsad tid, och att flera av de personer som varit involverade i en specifik EBA-rapport inte har varit med i processen från början till slut. EBA konstaterar i en intervju att UD:s personalrotation betyder att EBA återkommande behöver informera nya medarbetare på UD om hur samarbetet och rutinerna kring EBA:s arbete ser ut.[246]

4.2.2 UD och EBA har en kontinuerlig dialog för att säkerställa att EBA:s studier är användbara

Både EBA och UD anser att det är viktigt att det finns en dialog mellan EBA och UD för att öka förutsättningarna för EBA:s studier att vara användbara för UD och regeringen.[247] UD har möjlighet att ge inspel till EBA via UD:s tillförordnade expert i EBA:s expertgrupp[248] och EBA tillsätter även alltid en referensgrupp för sina studier där en medarbetare från UD ofta sitter med.[249] Det framkommer i intervjuer att UD eftersträvar att UD ska ha en representant i referensgrupper för de studier som berör UD.[250] Samtidigt framkommer att flera av dem som funnits listade som deltagare i en referensgrupp inte har varit aktiva i det arbetet.[251] Referensgrupperna får möjlighet att ge kommentarer på underlag under processens gång och ska lämna skriftliga kommentarer på den slutgiltiga versionen av studien.[252]

Sedan 2016 sammanställer UD årligen en lista med förslag på möjliga teman för kommande studier, som de delar med EBA.[253] Inspelen hämtas in brett från UD, och intervjupersoner på UD uppger att de har haft möjlighet att ge inspel till listan.[254] Förslagen från UD är ett av de underlag som EBA:s kansli använder för att ta fram ett diskussionsunderlag till EBA:s expertgrupp inför deras diskussion om prioriterade områden för kommande studier.

4.2.3 EBA:s studier bidrar framför allt med fördjupad kunskap

Det är enligt vår granskning oklart i vilken utsträckning EBA:s studier är användbara och till nytta för regeringen och UD i stort. Det är oklart eftersom flera av de medarbetare på UD för vilka olika EBA-studier borde vara relevanta, av olika anledningar i praktiken inte kan bedöma hur pass användbara studierna är.

Vi har utgått ifrån att medarbetare som har det formella ansvaret för en biståndsstrategi eller för att skriva olika delar av resultatredovisningen, eller som varit kontakt- eller referensperson för minst en EBA-studie borde ha användning av EBA‑studier. I praktiken har dock flera medarbetare som identifierats utifrån de här kriterierna inte alls haft det ansvaret, inte har haft det ansvaret under någon längre tid eller under viktiga skeenden, eller så har de slutat på UD.[255] För den här granskningen innebär det att de personer som borde ha kunnat uttala sig om användbarheten av EBA:s studier till stor del inte har kunnat göra det.

Granskningen visar trots det att EBA:s studier har varit användbara för medarbetare som har lång erfarenhet av biståndsfrågor eller arbetar dagligen med bistånd.[256] Vi kan se två olika typer av användning. Den första gäller direkt användning av studierna, då specifika studier har varit användbara i specifika processer på UD.[257] Den andra typen av användning är konceptuell och handlar om att specifika EBA-studier, eller EBA-studier generellt, har bidragit med kunskap eller förståelse inom ett särskilt område, utan att det lett till förändringar i enskilda processer.[258]

Den viktigaste faktorn för att EBA:s studier ska bli användbara för UD är att studierna är direkt relevanta för UD-medarbetarnas arbetsområde, och därmed att det finns en person som arbetar specifikt med området som är ämnet för studien.[259] I andra hand är det viktigt att studien kommer i rätt tid för att kunna användas i specifika processer.[260]

Även om EBA:s studier inte alltid kommer till direkt användning i specifika processer utgör de en viktig kunskapsbas för de av UD:s medarbetare som arbetar med bistånd. Det framgår i intervjuer att EBA bidrar med både ny kunskap om svenskt bistånd och kunskap som UD själva inte identifierat att de behövde, men haft nytta av. EBA:s studier kan också bidra med fördjupningar när behov uppstår, även långt efter en studies publicering.[261] Samtidigt finns det handläggare på UD som har ansvar för biståndsstrategier och som inte betraktar EBA:s studier som relevanta, men som heller inte arbetar med bistånd i någon större utsträckning.[262]

Att EBA presenterar sina studier i flera olika format framstår som viktigt, då tidsbrist utgör ett hinder för medarbetare på UD att ta del av EBA:s studier.[263] EBA:s sätt att kommunicera resultatet av sina studier påverkar UD-medarbetares möjlighet att ta del av studierna. EBA:s podcast lyfts till exempel fram som ett användbart sätt för UD-medarbetare att ta del av EBA:s studier, eftersom det kan vara lättare att få tid att lyssna på ett podcast-avsnitt än att läsa en hel studie.[264]

4.2.4 EBA:s studier har använts i regeringens rapportering till riksdagen

Regeringen hänvisar ibland till EBA:s studier i sin resultatredovisning till riksdagen i budgetpropositionen. I budgetpropositionerna för 2019–2024 hänvisar regeringen till totalt 8 EBA-rapporter.[265] Under samma period har EBA tagit fram totalt 47 EBA-rapporter.[266]

EBA-rapporterna används både i större och mindre utsträckning i regeringens resultatredovisning till riksdagen jämfört med regeringens användning av rapporter från andra liknande kommittéer och myndigheter. För att ge en indikation på regeringens användning av EBA:s rapporter har vi jämfört med vilken frekvens regeringen hänvisar till rapporter från andra kommittéer och myndigheter som bedriver analys- eller utvärderingsverksamhet. Vi har inte analyserat deras uppdrag, eller innehållet i deras rapporter. Vi har eftersträvat att göra ett urval av deras publikationsserier som i så stor utsträckning som möjligt liknar EBA:s publikationsserie EBA-rapporter. Det innebär att vi har inkluderat kommittéernas och myndigheternas egeninitierade rapporter, men avgränsat bort statistiksammanställningar, enklare översyner och rapportering av regeringsuppdrag. Vi har utgått ifrån kommittéernas och myndigheternas egen kategorisering av rapporter.

Tabell 1 Antal unika hänvisningar till specifika rapporter i budgetpropositionerna för 2019–2024 (före snedstrecket) och totalt antal rapporter per organisation och år (efter snedstrecket)

Not. Med antal hänvisningar menas hur många av kommitténs eller myndighetens rapporter som regeringen refererar till i budgetpropositionen. Regeringen kan hänvisa till rapporter som har publicerats andra år än budgetpropositionen.
* Delegationen för migrationsstudier.
** Expertgruppen för studier i offentlig ekonomi.
*** Verket för innovationssystem.
Källa: Budgetpropositioner för åren 2019–2024. Antalet rapporter från respektive kommitté eller myndighet är hämtat från kommitténs eller myndighetens hemsida.[267]

För sju av de totalt åtta EBA-rapporter som omnämns i budgetpropositioner för 2019–2024 drar regeringen slutsatser om effekter. Den åttonde rapporten används för att peka på vilka förutsättningar som behövs för att nå resultat inom ett visst område.

I arbetet med resultatredovisningen till budgetpropositionen för 2023 gjorde de ansvariga på UD en särskild ansträngning för att se vilka EBA-studier de kunde använda som källor.[268]

4.3 EBA har i praktiken ett stort mått av oberoende, men otydligheter innebär risker

I regeringens direktiv till EBA står det att EBA, och personer som anlitas för att genomföra studier, ska ha en oberoende ställning i relation till det som granskas, och att EBA självständigt ska svara för valet av studier och för deras kvalitet.[269] Regeringen är EBA:s uppdragsgivare, men genomför även bistånd. Därför kan även regeringens arbete vara föremål för EBA:s studier. Vår granskning visar att EBA i praktiken har ett stort mått av oberoende i relation till det som studeras oavsett om det är regeringen eller andra som genomför biståndet. Samtidigt konstaterar vi att flera av EBA:s styrande dokument i vissa fall är otydliga när det gäller vem inom EBA som ska fatta beslut om vad. Vi konstaterar även att EBA:s jävspolicy inte i tillräcklig utsträckning säkerställer att EBA hanterar eventuella frågor om jäv och opartiskhet på ett korrekt sätt, vilket innebär en risk för att kraven på saklighet och opartiskhet inte iakttas fullt ut.[270] Vi har dock inte granskat några beslut om jäv, eller hur EBA i övrigt hanterar frågor om jäv och opartiskhet i praktiken.

4.3.1 EBA fattar självständiga beslut, men undantag i jävspolicyn innebär risker

Vår granskning visar att EBA har styrande dokument och arbetssätt som tillsammans ser till att EBA agerar självständigt vid val av vilka studier som ska genomföras, vem som ska genomföra studierna och vilka studier som har tillräcklig kvalitet för att publiceras.[271]

EBA:s beslutsprocesser beskrivs i olika styrande dokument.[272] När det gäller studier inom ramen för EBA:s främsta publikationsserie, EBA-rapporter, är hela EBA:s expertgrupp involverad i att besluta om vilka studier som ska genomföras, vem som ska genomföra studien och vad som ska publiceras. I de fall en studies budget understiger 50 000 kronor har EBA:s kanslichef rätt att fatta beslut.[273] Att EBA följer sina processer och självständigt fattar beslut framgår av intervjuer med såväl EBA som UD.[274]

Enligt EBA:s jävspolicy är huvudregeln att en person som är jävig i ett ärende inte får delta i förberedelse, handläggning eller avgörande av ärendet. Samtidigt anger policyn att det ibland kan vara möjligt och nödvändigt att göra undantag från huvudregeln. Som exempel nämns att det i samband med upphandling finns hög risk för att personer i den grupp på EBA som ska bedöma inkomna anbud på ett eller annat sätt är bekanta med anbudsgivaren. EBA menar att det i den situationen ändå är möjligt och nödvändigt att göra ett undantag från huvudregeln och att respektive deltagare i bedömningsgruppen kan delta fullt ut i bedömningen av samtliga förslag.[275] Att EBA i vissa fall anser att det är nödvändigt att göra undantag från huvudregeln riskerar att leda till att EBA inte i tillräcklig utsträckning iakttar saklighet och opartiskhet vid beslut.

4.3.2 Författarna står självständigt för innehåll, men är inte nödvändigtvis oberoende i relation till det som studeras

Granskningen visar att EBA har styrande dokument och arbetssätt som säkerställer att författarna självständigt står för studiens innehåll, slutsatser och rekommendationer, oberoende av andra aktörer, inklusive EBA. Det är en del av EBA:s arbete med att säkerställa en oberoende granskning. Granskningen visar samtidigt att det finns risk för att EBA inte i tillräcklig utsträckning säkerställer att den som genomför en studie åt EBA är oberoende i relation till det som studeras.

EBA anlitar framför allt externa författare för att genomföra studier, men EBA-studier kan även genomföras av personer från EBA:s kansli eller EBA:s expertgrupp.[276] I samtliga fall ska det vara författaren som står för studiens innehåll, slutsatser och rekommendationer.[277] Av EBA:s styrande dokument framgår att författarna är ansvariga för att ta fram projektförslag inklusive förslag på hur studien ska genomföras, och ska stå för analys, slutsatser och eventuella rekommendationer.[278] Även av EBA:s kontraktsmall för avtal med författarna framgår att författarna självständigt ska stå för analys, slutsatser och eventuella rekommendationer. Av den framgår även att författarna har rätt att fritt disponera materialet om EBA beslutar att inte publicera rapporten.[279]

EBA:s styrande dokument anger att författarnas oberoende i förhållande till det som studeras är en viktig del i EBA:s studier.[280] Både EBA:s jävspolicy och EBA:s kvalitetspolicy ger viss vägledning i hur EBA ska värdera och hantera en författares opartiskhet i relation till det som studeras.[281] Samtidigt lyfter EBA i sin jävspolicy fram att författarnas opartiskhet inte är en självklar nödvändighet för en EBA-studie, utan att det i vissa fall kan krävas en avvägning mellan författares sakkunskap och oberoende. Policyn anger att förståelsen för vissa sammanhang kan förutsätta en närhet till det som utvärderas som gör att oberoendet kan ifrågasättas, samtidigt som ett avstånd som garanterar opartiskhet kan minska relevansen av det som skrivs. Enligt policyn är det därför nödvändigt att tydliggöra EBA:s syn på när opartiskhet är en överordnad princip och EBA:s rutiner för att i dessa fall säkerställa opartiskhet. Jävspolicyn anger dock inte några närmare kriterier för vad som är relevant för prövningen utan endast att expertgruppen, utifrån bland annat studiens frågeställning, syfte och tänkta mottagare, avgör från fall till fall om en författares närhet till materialet utgör ett problem för opartiskheten, och i förlängningen oberoendet, i relation till det som studeras.[282]

4.3.3 Det finns otydligheter i styrande dokument kring vem inom EBA som fattar beslut om vad

Flera av EBA:s styrande dokument är delvis otydliga när det gäller vem inom EBA som ska fatta beslut om vad, och delar av samma beslutsprocess beskrivs ibland i olika styrande dokument. Det finns otydligheter kring vem inom EBA som ska fatta beslut om vilka studier som ska genomföras, vem inom EBA som ska fatta beslut om författare och vem inom EBA som ska fatta beslut om tilldelning av uppdrag i samband med anbudsförfarande.

EBA:s styrande dokument beskriver att EBA:s expertgrupp fattar beslut om vilka studier som ska genomföras, men det är inte tydligt om det inkluderar alla de olika typer av studier som EBA tar fram eller ej.[283] Av EBA:s beslutsordning för ekonomiska beslut framgår att EBA:s kanslichef har rätt att besluta om kostnader i samband med EBA:s verksamhet upp till 50 000 kronor.[284] Det innebär, enligt EBA, att EBA:s kanslichef har rätt att fatta beslut om att inleda de flesta studier som görs inom EBA:s publikationsserie Underlagsrapporter.[285]

Det är inte tydligt i EBA:s styrande dokument om EBA:s expertgrupp fattar beslut om författare för alla typer av studier. I intervjuer framkommer att EBA:s expertgrupp fattar beslut om författare inom ramen för de studier som publiceras i EBA:s publikationsserie EBA-rapporter. För de studier som publiceras inom ramen för EBA:s publikationsserie Underlagsrapporter är det i stället EBA:s kanslichef som fattar beslut om författare.[286]

I intervjuer framkommer att kanslichefen ska redogöra för sina beslut för expertgruppen, vilket inte framkommer i EBA:s styrande dokument.[287] Det framgår inte i upphandlingspolicyn vem på EBA som beslutar om tilldelning av uppdrag efter anbudsförfarande.[288] I intervjuer framkommer dock att expertgruppen beslutar om tilldelning av uppdrag vid anbudsförfarande.[289]