Trots att resultat betonas alltmer har utvärderingskapaciteten inom biståndet minskat på grund av omstruktureringar och utvärderingsmyndigheten SADEVs tillkortakommande. Den förväntade nedläggningen av SADEV väcker angelägna frågor om den framtida utvärderingen av det svenska biståndet, skriver Anders Olofsgård och Jesper Roine.
I maj i år publicerade Statskontoret rapporten ”Utvärdering av svenskt bistånd – en översyn av utvärderingsverksamheten”. Rapporten belyste många brister i utvärderingsarbetet, och betonade att den fristående utvärderingsmyndigheten SADEV inte hade levt upp till förväntningarna och att en ”omstart” vore önskvärd. Mot denna bakgrund rekommenderade en arbetsgrupp inom UD nu i juni att regeringen fattar beslut om att SADEV avvecklas den 31 december 2012. Arbetsgruppen föreslår också att en samlad analys utarbetas med förslag till hur utvärderingsfunktionen inom biståndet bör organiseras i framtiden. Den som följt biståndsdebatten i Sverige de senaste åren är nog inte särskilt förvånad. Det finns mycket att säga om det som varit men viktigast är i detta läge att noga tänka igenom hur biståndsutvärderingen som helhet ska organiseras. Frågan rör inte bara SADEVs framtid utan även UDs och SIDAs roll i den kedja som utgör utvärderingsprocessen.
Paradoxalt nog har kapaciteten att genomföra utvärderingar inom svenskt bistånd parallellt med detta blivit sämre på grund av omstruktureringar på Sida och UD samt SADEVs tillkortakommande.
Till att börja med kan man förstås ställa sig frågan om det behövs speciella resurser för utvärdering av biståndet. Här är svaret ett klart ”ja”. Vikten av utvärdering av resultaten från offentliga verksamheter betonas alltmer samtidigt som forskningen om biståndutvärdering har varit ett av de fält inom nationalekonomi som utvecklats mest. Paradoxalt nog har kapaciteten att genomföra utvärderingar inom svenskt bistånd parallellt med detta blivit sämre på grund av omstruktureringar på Sida och UD samt SADEVs tillkortakommande. En förstärkning av utvärderingskapaciteten är alltså om möjligt är mer angelägen idag än när SADEV startades.
Obereonde myndighet?
Nästa fråga rör huruvida en oberoende myndighet är nödvändig. Svaret här är mer av ett ”nja”. En oberoende myndighet med fast anställda som själva står för utvärderingsarbetet låter som en garant för självständighet gentemot granskade organ och den politiska uppdragsgivaren. Erfarenheten från SADEV pekar dock på att detta inte nödvändigtvis är fallet. Det finns också exempel på andra sätt att garantera oberoende (t.ex. IEG inom Världsbanken), så en mer slimmad organisation som huvudsakligen upphandlar extern kompetens inom t.ex. Sida eller UD bör inte uteslutas. Möjligheten till faktisk självständighet handlar i slutändan oftast om kompetens och relevans. En relaterad fråga rör i vilken mån utvärderingar måste vara egeninitierade. Att möjligheten till detta finns är ett måste för trovärdigheten i att granska regeringens arbete, men Statskontorets rapport poängterar att UDs personal ofta uppfattat SADEVs egeninitierade utvärderingar som irrelevanta. Detta har delvis berott på bristande kvalitet, men också på grund av fel fokus, eller fel timing i beslutsprocessen. Fördelen med beställda rapporter är att det är troligare att de får en faktisk påverkan på beslutsfattandet. Det finns alltså en balansgång här som måste respekteras, utan att för den skull tulla på trovärdigheten i utvärderingsfunktionen. Det viktiga är att oberoende inte blir likställt med bortkopplat och irrelevant; meningsfull utvärdering kräver kommunikation. I slutändan är ett tydligt mandat och kompetens viktigare än organisationsformen, vilket leder oss till följande rekommendationer.
En av de mest uppseendeväckande punkterna i Statskontorets rapport är att SADEV ännu inte gjort en enda utvärdering av biståndets effekter, dvs. konsekvenserna för de som är de egentliga mottagarna av biståndet.
Närmare koppling till utvecklingsforskningen
En av de mest uppseendeväckande punkterna i Statskontorets rapport är att SADEV ännu inte gjort en enda utvärdering av biståndets effekter, dvs. konsekvenserna för de som är de egentliga mottagarna av biståndet. Fokus har i stället legat på processer och inre effektivitet. Denna ”process-fokusering” verkar delvis motiveras med att utvärderingen av biståndets effekter faller inom området ”forskning”, vilket måste särskiljas från ”utvärdering”. Detta är en i våra ögon mycket underlig och sorglig attityd, inte minst mot bakgrund av att utvärderingsmetodik just nu röner en enorm uppmärksamhet inom utvecklingsekonomi. Hur kan man motivera att inte dra nytta av forskares framsteg när de appliceras på just de områden en myndighet är satt att bevaka? De nya metoder som växt fram bygger inte på avancerade teoretiska modeller eller vilda antaganden, utan är väldigt konkreta och datadrivna. De kräver dock ett närmare samarbete mellan implementerande och utvärderande enheter, då de bygger på en jämförelse före och efter en intervention både i områden täckta av interventionen och liknande områden som inte berörts. Denna metod är inte utom kritik, och framförallt är den inte lämplig för alla typer av projekt, men många insatser lämpar sig mycket väl för att utvärderas på detta sätt. Att säkerställa kompetens inom modern utvärderingsmetodik framstår som en av de viktigaste förändringar som måste komma till stånd och här är kopplingen till relevanta forskningsmiljöer nyckeln.
Deltagande och insyn
Bra utvärderingar kräver deltagande och insyn i hela processen. Som nämns ovan kräver god utvärdering i allmänhet en möjlighet att jämföra situationen före och efter en åtgärd. Detta i sin tur kräver god koordination och kommunikation mellan de som implementerar insatsen och de som ska utvärdera den, dvs. möjligheten till utvärdering måste vara en del av själva designen av projektet. En nyckel för bättre utvärderingar är alltså att utvärderingsfunktionen involveras tidigt i processen.
I vilken stad?
De två ovanstående punkterna har en direkt koppling till var utvärderingsfunktionen lokaliseras. Precis som poängterades i den utredning som Per Molander skrev när SADEV skulle bildas (”Ett fristående utvärderingsorgan för utvecklingssamarbetet”, 2004) är närheten till en stad med kompetens inom utvecklingsforskning av stor vikt. I första hand pekades Stockholm och Göteborg ut som lämpliga städer, där Stockholm också hade fördelen av närhet till regeringen och Sida. Av detta blev som bekant intet, SADEV etablerades i Karlstad när Försvarsmakten bantades och statliga arbetstillfällen omlokaliserades. Argumenten för att lokalisera utvärderingsfunktionen till Stockholm eller Göteborg framstår idag som minst lika starka just på grund av de två tidigare punkterna.
Detta är en debattartikel. Skribenten svarar för analys och åsikter i texten.
Vill du också skriva en debattartikel till Utvecklingsmagasinet? Kontakta oss på opinion@fuf.se