Indsatsens målgruppe skal defineres. Det kan gøres ift. fx deres alder, køn, etnicitet og konkrete problemstillinger. Hvordan man kommer i kontakt med målgruppen kan være en del af denne definition, fx kunne en målgruppe defineres som unge langtidsledige på kontakthjælp, som møder op på jobcenteret. 

Definitionen af målgruppen skal være så specifik, at de medarbejdere som er ansvarlige for at rekruttere borgere til indsatsen, kan anvende definitionen i praksis.

Er der kontakt til målgruppen allerede? Hvis ikke, kan man med fordel pilotafprøve rekrutteringen. Erfaringer viser, at kontakten til målgruppen er et af de led i implementeringen som mislykkes. Som ansvarshaver for en indsats som har potentiale for at hjælpe den unge, er det nemt at være overoptimistisk mht. den unges interesse i indsatsen.

Spørg dig selv om:

Er definitionen af målgruppen tydelig og brugbar i praksis?

Er den blevet afprøvet af de medarbejdere, som er ansvarlige for kontakten til borgeren?

Hvor mange børn/unge er der i målgruppen?

Effektevalueringen måler effekten af en konkret indsats, og derfor er det vigtigt, at indsatsen er veldefineret og kan implementeres i praksis. En I-N-D-S-A-T-S skal være en konkret intervention. Derfor er en god huskeregel, at en I-N-D-S-A-T-S skal være:

Effektevalueringen måler effekten af en konkret indsats, og derfor er det vigtigt, at indsatsen er veldefineret og kan implementeres i praksis. 

En I-N-D-S-A-T-S skal være en konkret intervention. Derfor er en god huskeregel, at en I-N-D-S-A-T-S skal være:

• Implementerbar
• Have Nyttemål
• Kunne udDelegeres og udmøntes i praksis
• Være udSpecificeret og bestå af et sæt Afgrænsede aktiviteter
• Være Tidsbegrænset og
• Systematisk

Spørg dig selv om:

Bygger indsatsen på den bedste internationale viden, fx fra systematiske reviews?

Er indsatsen blevet afprøvet i praksis fx i en pilot og har en stor chance for at virke i praksis?

Hvad er de aktive ingredienser i indsatsen, dvs. de aktiviteter, som gør en forskel for den enkelte person?

Hvordan en indsats leveres til den unge kan have betydning for, hvordan den unge deltager og får gavn af indsatsen. Det kan også have betydning for hvilke unge, som modtager indsatsen og hvem som ikke gør. Desuden er det i administrationen af en indsats, at dyre indsatser bliver dyre og billige indsatser holdes nede i omkostninger.

Også på dette område kan det nogle gange betale sig at pilotafprøve leveringsmetoderne eller afprøve to konkurrerende tilgange til at levere en indsats for at få den bedste mulige viden om, hvordan borgeren får mest muligt ud af indsatsen til den bedste pris. 

Spørg dig selv om:

Hvem skal levere indsatsen til borgeren og hvilken træning skal de have? Hvordan sikres det, at de fortsat administrerer indsatsen, når de kommer tilbage fra træningen til deres vante rutiner og hverdagen rammer projektet?

Kunne indsatsen administreres på en billigere måde, fx gennem andre institutioner som allerede er i kontakt med målgruppen?

Hvor indsatsen implementeres hænger sammen med hvem der implementerer den og hvordan. Det kan fx være i skoleklasser, i hjemmet, i dagtilbuddet eller i ungdomsklubber.  Nogle indsatser målrettes et individ (fx en unge arbejdsløs) mens andre målrettes og leveres til flere personer på samme tid (fx en klasse). Indsatser kan også målrettes geografisk til fx et helt boligområde eller personer som opholder sig i et risikoområde på en given tid (fx vold i nattelivet).

Modtager mere end én person indsatsen udgør hele klassen evalueringsenheden.

Spørg dig selv om:

Hvor implementeres indsatsen mest hensigtsmæssigt (dvs med størst effekt for prisen)?

Målrettes indsatsen til et individ eller en gruppe?

Hvordan undgås det at et individ som modtager indsatsen overfører denne viden til andre individer i sammenligningsgruppen (se under pkt. 6 i nedenstående)?

Ikke alle forandringer kan kvantificeres, men hvis vi ikke se forandringer på målebare faktorer, kan vi ikke vide, om indsatsen virker. Ved at udvikle en forandringsteori for indsatsen, kan man kortlægge de forventede effekter og udvælge nogle datakilder som kan belyse om indsatsen gør en forskel. 

I forskning benyttes validerede spørgeskemaer som kan måle på børn og unges trivsel, socio-emotionelle udvikling og velværd samt test af faglige kompetencer (fx nationale test, afgangsprøver, tidlige sprogscreener). Den effektevaluering af høj kvalitet kræver, at der forud for lodtrækningsforsøget laves en realistisk styrkeberegning, så det ikke underestimeres, hvor mange deltagere, der skal deltage i forsøget. Desuden er det vigtigt, at der sikres høje svarprocenter i før- og eftermålingerne og i det hele taget et lavt frafald – ellers ender evalueringen med ikke at have tilstrækkelige data. Endelig er det vigtigt at have en forståelse for at udnytte data – herunder førmålinger og registerdata – ordentligt, samt at der anvendes valide måleredskaber, som ikke er for støjfyldte.

Dataindsamlingen er underlagt regler for god forskningsetik. Al data skal anonymiseres og opbevares ifølge regler fra Datatilsynet. Ligeledes må præsentationen af forskningsresultater ikke identificere enkeltindivider. 

Spørg dig selv om:

Hvilke forandringer (mål og størrelsesorden) bør observeres i målgruppen for at konkludere at indsatsen er effektiv og en god investering?

Hvordan kan informationer indsamles i både indsats- og kontrolgruppen på identisk vis så forskelle mellem de to grupper ikke skyldes dataindsamlingsmetoden, men reelle forskelle?

Kunne indsatsen medføre eventuelle negative sideeffekter, som også skal monitoreres og belyses i effektevalueringen?

Kan det forventes, at effekten forsvinder over tid og skal indsats- og kontrolgruppen følges over en længere periode så langsigtede effekter kan måles?

Der er forskellige metoder til at evaluere, om en indsats virker. De mest valide metoder gør brug af en kontrolgruppe, som udvælges ved tilfældighed. Evidensstigen kan være en guide til at vælge en valid evalueringsmetode. 

Det er afgørende for evalueringen, at de personer, som modtager indsatsen, ikke adskiller sig systematisk fra dem, som er i kontrolgruppen. Ellers kunne de målte forskelle skyldes andet, end indsatsens virkning, og forsøget konklusioner vil ikke længere holde. 

Som forskere er vi blevet bedre til at tilpasse lodtrækningsproceduren til realiteterne i den praksis indsatsen implementeres i, uden at afvige fra lodtrækningen. Fx findes der forskellige tilgange til lodtrækningen så som:

• Ren lodtrækning (der trækkes lod om at indgå i indsats- eller kontrolgruppe. Begge grupper følges over tid)
• Ventelistedesign (alle får indsatsen på et tidspunkt, der trække lod om hvem som modtager den først)
• Flerindsatsdesign (der trækkes lod om at få en af to konkurrerende indsatser. Effektevalueringen afgør hvilken af de to indsatser som er mest effektive)
• Rotationsdesign (alle får indsatsen som roteres mellem indsatsgrupper på bestemte tidspunkter)

Spørg dig selv om:

Hvornår i rekrutteringsprocessen kan en udvælgelse af indsats- og kontrol deltagere foretages?

Hvor mange måneder efter indsatsen er opholdt vil vi gerne måle effekten? Bemærk at ventelistedesign og rotationsdesign begrænser muligheden for at måle langsigtede effekter.

Kan der benyttes registerdata til langsigtede udfaldsmål, så dataindsamlingen ikke bliver en stor belastning på deltagerne?

For at lave en valid effektmåling skal der indgå nok personer i forsøget til at sikre, at deres individuelle variationer ikke overskygger gennemsnitseffekten. Fx deltog 284 børn i Sprogkuffertforsøget og 221 klasser i Forsøget med Tolærerordning.

Som huskeregel gælder det, at lodtrækning på individniveau kræver i gennemsnit færre individer end lodtrækning på gruppeniveau (fx klasser). Jo flere indsatser, der afprøves, jo flere individer skal indgå i evalueringen.  Jo mere heterogen målgruppen er, jo flere individer skal indgå, eller evalueringen skal begrænses til en mere homogen undergruppe. Jo mere effektiv indsatsen er, jo færre individer er der behov for før end evalueringen kan måle en effekt.

Det er altid bedre at have for mange deltagere end for få. Ved for få deltagere kan forsøget ikke med sikkerhed måle, om indsatsen havde en virkning eller ej.

Forskere har metoder til at udregne hvor mange deltagere, der som minimum skal indgå i en effektmåling for at sikre valide målinger. Dette kaldes en styrkeberegning.

Spørg dig selv om:

Givet omkostningerne ved indsatsen, hvor meget skal børnene udvikle sig for at indsatsen vil være en god investering?

Hvor mange personer kan realistisk blive rekrutteret og modtage indsatsen?