Dyre indsatser, som er svære at rulle tilbage, bør afprøves. Viser evalueringen, at indsatserne er knapt så effektive, som man forventede, kunne pengene komme andre og mere effektive indsatser til gode. I evalueringen kan det også belyses om der er populationer, som indsatsen er mindre effektive for, så selvom indsatsen har en positiv virkning for hele populationen, kan der være behov for yderligere tiltag eller en anden form for implementering for de populationsgrupper, som ikke oplevede en positiv effekt i evalueringen.

Brug for afprøvning i lokalkontekst. Selvom en indsatsen er velafprøvet i andre lande - fx England eller USA, hvor der gennemføres mange effektevalueringer - kan der være god grund til at måle indsatsens effekt i den danske kontekst, inden indsatsen gøres til dansk praksis. Der kan være kulturelle eller systemforskelle, som gør indsatsen mere end mindre virksom på tværs af kontekster. Et eksempel vil være, at retssystemet i Danmark og USA er forskellige, og evidens om fx længden på fængselsdomme i USA bør afprøves i en dansk kontekst, inden de tages for god viden i Danmark, hvor vi allerede har langt kortere fængselsdomme end i USA.

Få konfronteret gængse myter. Som mennesker har vi en tendens til at se de mønstre, vi forventer at se. Derfor kan det være en fordel at lave forskning, som kan konfrontere gængse myter. Fx er det en udbredt forståelse at skoler ikke må ligge for meget ansvar på forældrene ift. børns tidlige læse- og talforståelse, da det kan yderligere marginalisere børn med svagere forældrebaggrund. I Forsøg med Sprogkufferter afliver vi denne myte: De børn, som får mest gavn af en sprogkuffert i hjemmet, er dem med forældre med kortest uddannelse. Når vi som lærere, pædagoger og forældre er sammen med vores børn, har vi en fornemmelse af om det går barnet godt, men vi ser aldrig, hvordan det vil gå barnet, hvis vi engagerede det på en anden måde. Det er det, lodtrækningsforsøg kan være med til at åbne øjnene for. Tit bliver både forskeren og praktikerne overrasket over resultatet. 

Dybdegående kendskab til indsatsen. Feedback fra organisationer, som tidligere har lagt indsatser til en effektevaluering, er ofte at de er blevet overrasket over den læring evalueringen frembragte. Motivationen for at deltage i en effektevaluering er som regel et ønske om at bevise, at det man gør, gør en forskel. I processen med at designe en effektevaluering og i måling af, hvem der får gavn af indsatsen, eller hvor kæden falder af for dem, som indsatsen ikke virker for, får organisationen et kik ind i ”maskinrummet” på deres egen indsats, og bliver klogere på, hvad de egentlig gør. Det er denne dybdegående kendskab til de underliggende mekanikker i indsatsen, der senere bliver fremhævet som det mest værdifulde i at gennemføre en effektevaluering.

Mange håndtag at dreje på. Effektevalueringer kan bruges til flere formål end at måle, om en indsats har en virkning på målgruppens trivsel, læring og udvikling, eller ej. Fx kunne man afprøve to forskellige tilgange til at rekruttere målgruppen i et lodtrækningsforsøg for dermed at få solid viden om, hvordan rekrutteringen bedst gennemføres. Man kunne også afprøve to forskellige metoder til lokal kapacitetsudvikling og se, hvilken en af dem, som har de største og mest vedvarende positive effekter. Alle, som har købt varer fra internetforhandleren amazon.com, har deltaget i et lodtrækningsforsøg, da de løbende varierer priser og reklamer og måler på salget for at informere deres salgsstrategi.

Kilde: Teksten er baseret på Glennerster, R., og Takavarasha, K. (2013): Running Randomized Evaluations: A Practical Guide. Princeton University Press. 

Indsatsen skal først finjusteres. Hvis indsatsen endnu ikke er veludviklet og afprøvet i praksis, og der er usikkerhed om, hvorvidt målgruppen kan engageres, og om indsatsen kan implementeres, kan man med fordel starte med at gennemføre en pilot. Piloten afprøves indsatsen i praksis i en mindre skala. Der er derfor tid til at finjustere programmet og sikre, at logikken bag indsatsen også holder i praksis. Viser piloten, at indsatsen har gang på jord, kan en effektevaluering overvejes efterfølgende.

Indsatsen mangler generaliserbarhed. Indsatsen evaluerer et yderst konkret program, som kun kan gennemføres under meget specifikke forhold. Selvom effekten kan være stor for disse børn, er det ikke sikkert, at det kan betale sig at lave en effektevaluering. Interventioner, som i højere grad kan skabe generaliserbar viden der kan bruges mere bredt i andre politik sammenhæng, bør prioriteres.

Ligeledes kan det være en fordel at fokusere evalueringen på en eller nogle få virkemidler i stedet for en stor pakke af sociale tiltag. Selvom det viser sig, at den store pakke virker (i helhed), ved vi ikke om alle indsatser i pakken er nødvendige eller om effekten drives af bare en eller nogle få særligt effektive virkemidler (til en lavere omkostning).

Tvivl om implementeringen. Hvis evalueringen har til formål at skabe viden om, hvordan indsatsen bliver implementeret, og hvordan målgruppen modtager og eventuelt deltager i indsatsen, er der tale om en procesevaluering (også kaldt en implementeringsevaluering). I disse evalueringer følger man ressourcerne, som de implementeres i indsatsen, og undersøger, hvordan aktørerne oplever aktiviteterne. Dette kan være nyttig viden, og mange effektevalueringer kombinerer effektevalueringen med en procesevaluering.

Mangler nødvendige ressourcer til at gennemføre en evaluering af høj kvalitet. Effektevalueringer tager tid og ressourcer at gøre godt. Man lærer ikke meget af et dårligt gennemført forsøg. Derfor er det en god ide at prioritere menneskelige og andre ressourcer om at besvare organisationens vigtigste spørgsmål, i stedet for at sprede ressourcernes ud over flere, ikke så vel gennemførte evalueringer.

Kilde: Teksten er baseret på Glennerster, R., og Takavarasha, K. (2013): Running Randomized Evaluations: A Practical Guide. Princeton University Press