Antalet utvärderingar av biståndet har ökat kraftigt under senare år. Trots det leder de sällan till att biståndsgivare lär sig något av dem. Nu behövs en öppen diskussion om syftet med utvärderingarna. Det skriver tre forskare som idag ger ut en rapport om ämnet genom Expertgruppen för biståndsanalys.
“When will we ever learn?” var titeln på en rapport från tankesmedjan Centre for Global Development i Washington DC för ett drygt årtionde sedan. Under åren såväl före som efter har ett antal givare gett ut studier med liknande frågeställningar. Här i Sverige lanserade Institutet för utvärdering av internationellt utvecklingssamarbete (SADEV) 2008 studien “Lär sig Sida mer än för?”, som en uppföljning på en likartad rapport från Riksrevisionsverket tjugo år tidigare.
Lärande är ett huvudsyfte i biståndsutvärdering. Samtidigt består intrycket att det finns ett trängande behov av lärande – detta trots det ymniga flödet av rapporter och dokument. Faktum är att det bland såväl forskare som praktiker är många som menar att biståndssektorn präglas av en mycket omfattande dokumentproduktion.
Svårt att lära från utvärderingar
I hjärtat av denna massiva rapportproduktion sitter de centrala utvärderingsenheterna för de offentliga biståndsmyndigheterna. På bland annat Sida arbetar experter på utvärderingsmetodik som försöker bidra till lärande inom såväl som utanför organisationen. De försöker sammanställa insikter från det spretiga landskapet av utvärderingsrapporter som kommer in från Sidas decentraliserade utvärderingar, partnerorganisationer och andra givare. De försöker kommunicera dessa insikter till Sidas chefer, policyskapare och en intresserad allmänhet. Trots det förblir lärande från dessa utvärderingar svårgripbart, både i organisationer och i det bredare samhället.
Som forskare var vi fascinerade av denna paradox: Den bestående kombinationen av begränsat lärande samtidigt som utvärderingsrapporter och dokument ökar kraftigt. Vem skriver alla dessa utvärderingsrapporter, för vem och hur? Vem läser dem, vem använder dem, och viktigast av allt – vem lär sig av dem?
Utforskade relationen mellan lärande och ansvarsutkrävande
När vi utforskade dessa frågor satte vi utvärderingars syfte att lära i direkt relation till det andra huvudsyftet med utvärdering: ansvarsutkrävande. Dessa två – ansvarsutkrävande och lärande – benämns ofta för givare som ”det dubbla syftet” (“the dual purpose”) eller ”tvillingsyftet” (“the twin objective”) med biståndsutvärdering. I vår studie har vi utforskat denna relation i såväl svensk som norsk biståndsutvärdering. Expertgruppen för biståndsanalys, EBA, finansierade studien. Resultatet är en rapport som lanseras idag i Stockholm.
Vi kombinerade i vår studie metoder från flera forskningsfält, särskilt historia, retorik och politisk ekonomi. Relationen mellan ansvarsutkrävande och lärande i utvärderingar studerades på tre näraliggande nivåer – i själva rapporterna, i de faktiska processerna, och i de bredare systemen. På alla tre nivåerna mötte vi gång på gång spänningar och motsättningar mellan ansvarsutkrävande och lärande som i praktiken ledde till ett antal avvägningar. De två syftena föranleder olika frågor och olika metoder, och i praktiken kräver de vitt skilda utvärderingsprocesser. Till och med i de allra första stadierna av en utvärdering – när uppdragsbeskrivningen som definierar själva utvärderingsuppgiften formuleras – görs val som premierar den ena ansatsen före den andra.
Rekommendationer är dåligt underbyggda
I utvärderingar är syftet om ansvarsutkrävande väl tillgodosett: rapporterna etablerar vad som hänt och när, relaterar resultat till förväntningar, och ger ris eller ros till de aktörer som varit involverade. Trots det är det svårt att röra sig från beskrivningar till rekommendationer. Vi fann oftast att rekommendationer inte var väl underbyggda och att ”lärosatser” hade begränsad relevans – om de ens var artikulerade överhuvudtaget. Därför är det svårt att se hur enbart rapporterna skulle kunna bidra till lärande för andra än de aktörer som varit direkt inblandade.
Utvärderingsprocesserna är ofta ett viktigare tillfälle för lärande än själva rapporterna. I intervjuer med seniora utvärderare fick vi ständigt höra att de ofta fick agera diskussionsledare och tolkar. De skulle aktivt involvera relevanta aktörer genom hela utvärderingsprocessen. De skulle också arbeta tillsammans med de externa konsulterna för att säkerställa att deras rapport skulle bli både relevant och av hög kvalitet samt marknadsföra slutrapporten så att den kom till användning. Samtidigt som utvärderarnas engagemang är nödvändiga för lärande, kan de också stå i vägen för de formella kraven på oberoende och distans i utvärderingsprocessen. Oberoende och distans är viktigt för att skapa ansvarsutkrävande och extern tillit till biståndet. Samtidigt kan externa konsulter – om de agerar mer som revisorer än diskussionsledare – skapa misstänksamhet hos handläggare, och på så sätt ytterligare försämra möjligheterna för lärande.
Vi måste ha en öppen diskussion
Avslutningsvis, lärande sker aldrig i ett vakuum utan är alltid del av ett vidare politiskt och organisatoriskt sammanhang. Medan utvärderingschefer må vara mest upptagna av lärande, finns andra faktorer som motverkar lärandesyftet till förmån för ansvarsutkrävande. En är det så kallade management respons-systemet, alltså det formaliserade system för ledningars skriftliga respons på slutsatser och rekommendationer i utvärderingar, där en konkret handlingsplan oftast ingår. Andra faktorer är begränsade resurser för utvärdering samt belöningssystem för ett resultatinriktat arbetssätt och andra system för ansvarsutkrävande. Dessa är helt tydligt viktiga för att skapa öppenhet och upprätthålla allmänhetens förtroende för biståndet, men de uppmuntrar inte till risktagande – och inte heller till öppna och läro-inriktade processer.
Med utgångspunkt i våra resultat avslutar vi studien med följande huvudrekommendation: Alla som håller på med och diskuterar bistånd behöver anpassa sina förväntningar till såväl biståndsinsatser och biståndsutvärderingar, och prata öppet om avvägningarna mellan ansvarsutkrävande och lärande. Detta innebär en öppen diskussion om syftet med utvärderingsrapporter, de externa konsulternas roll, och de samlade utmaningar som skapas av resultatinriktade system för styrning av verksamhet. Vi hoppas att vår studie ska kunna bidra till denna öppna diskussion – med start denna eftermiddag, vid EBA:s lansering av studien i Stockholm.
Hilde Reinertsen
Kristian Bjørkdahl
Desmond McNeill
Detta är en debattartikel. Skribenten svarar för analys och åsikter i texten.
Vill du också skriva en debattartikel till Utvecklingsmagasinet? Kontakta oss på opinion@fuf.se