Metoder

I TrygFondens Børneforskningscenter evaluerer vi sociale-, skole- og kriminalpræventive indsatser ved brug af de videnskabelige metoder, som giver den bedst mulige viden om indsatsernes virkning.

Centeret har været med til at udbrede brugen af lodtrækningsforsøg inden for børne- og ungeområdet og gennemfører løbende forskningsstudier lodtrækningsforsøg. Samtidig anvender vi en lang række andre videnskabelige metoder til at undersøge de fænomener, vi studerer. 

Systematiske reviews

Systematiske reviews er metaanalyser, der på struktureret vis gennemgår eksisterende studier inden for et felt og sammenfatter den samlede, evidensbaserede viden på tværs af studierne.

Eksempel på et systematisk litteraturstudie gennemført af TrygFondens Børneforskningscenter:

Lodtrækningsforsøg

Lodtrækningsforsøg er kendetegnet ved, at der trækkes lod om, hvem fra målgruppen der kommer i henholdsvis indsatsgruppe og kontrolgruppe. Lodtrækningen sikrer, at der ikke er systematiske forskelle mellem grupperne, inden indsatsen går i gang. Begge grupper vil derfor i gennemsnit have samme forventede udfald, hvis de modtager indsatsen. I forsøgsperioden modtager indsatsgruppen indsatsen, mens kontrolgruppen kun modtager allerede eksisterende indsatser (også kaldt status quo). Begge grupper observeres over tid, og forskellene mellem dem er et mål for indsatsens effekt. 

Dette design giver det bedst mulige grundlag for at skabe generaliserbar viden. 

Kvaliteten af forsøgsdesignet og implementeringen af det har betydning for, hvilke konklusioner man kan drage fra effektevalueringen. Det er vigtigt, at lodtrækningsforsøget er designet og implementeret med omhu og tager højde for, at nok deltagere indgår i forsøget, at frafald er minimalt, og at der ikke er spillover effekter imellem indsats- og kontrolgrupperne.

Eksempler på lodtrækningsforsøg i TrygFondens Børneforskningscenter:

Naturlige eksperimenter og RD-design

Naturlige eksperimenter er en betegnelse for effektstudier, der sammenligner (som oftest) personer, som enten har fået eller ikke fået en indsats, og hvor faktorer, som de ikke selv havde indflydelse på, afgjorde, om de kom i den ene eller den anden gruppe. Om en person har fået indsatsen eller ej må derfor ikke hænge sammen med, hvem den enkelte person er, hvor vedkommende bor, hvem vedkommende kender, eller hvor motiveret vedkommende er. Eksempler på sådanne faktorer er natur- eller vejrfænomener, politiske eller administrative beslutninger, eller systemfejl, som medfører, at nogle personer modtager en indsats, mens andre ikke gør, og hvor det er forholdsvis tilfældigt, om den enkelte person endte i den ene eller den anden gruppe. 

Forekomsten af sande naturlige eksperimenter er yderst sjældne. Derfor starter et forskningsprojekt, som bygger på naturlige eksperimenter, også altid med at sammenligne personerne i de to grupper for at undersøge, om der er systematiske forskelle imellem dem. 

Regression Discontinuity (RD) design. Lidt oftere forekommer det, at indsatser øremærkes til en bestemt gruppe ved at fastlægge et skæringspunkt, som afgør, hvem der kan få tildelt indsatsen. Eksempelvis kan et fattigdomsprogram være målrettet til personer med en indkomst under en vis grænse, og specialundervisning kan være målrettet elever med faglige udfordringer. Det præcise skæringspunkt for, hvornår man kan modtage indsatsen, er ofte en politisk beslutning. De børn, som ligger lige over eller lige under skæringspunktet, er derfor i udgangspunktet forholdsvis sammenlignelige. Den ekstra krone, man tjener for meget til at kvalificere sig til fattigdomsprogrammet, er ikke en systematisk forskel fra de personer, der tjener en krone mindre og får programmet. Kan man derfor finde nok personer, som ligger lige over eller lige under skæringspunktet, kan denne diskontinuitet benyttes til at skabe en sammenligningsgruppe. 

Fordelen ved et RD-design er, at evalueringen ikke trækker lod om, hvem der modtager indsatsen, men at man kan benytte en allerede eksisterende tildelingsnøgle. Svagheden ved et RD-design er, at man kun kan måle effekten for den population, som ligger lige omkring skæringspunktet. Evalueringen siger derfor ikke noget om de personer, der er meget fattige og befinder sig langt fra skæringsgrænsen. Ligeledes afhænger designet af, at der er nok individer, som kan observeres lige omkring skæringspunktet.

Opfyldes kravene om eksogen variation i naturlige eksperimenter og RD-designene, er disse evalueringsmetoder lige så valide som et lodtrækningsforsøg.

Eksempler på projekter hos TrygFondens Børneforskningscenter, der anvender et Regression Discontinuity-design eller naturlige eksperimenter:

Andre kontroldesign baseret på observerbare karakteristika

Propensity-score matching design finder det bedste ”match” til individer, der modtager en indsats blandt andre individer, som ikke modtager indsatsen. Data om personerne kobles sammen ud fra tilgængelige personoplysninger, inden indsatsen igangsættes. Denne metode har den fordel, at analysen kan foretages på historiske data, og der ikke trækkes lod om, hvem som skal modtage indsatsen. Men den har den svaghed, at det kun er muligt at matche individer på tilgængelige oplysninger om personerne. Selvom der findes mange personoplysninger i de danske registerdata, mangler der oplysninger om fx persons motivation, som kan spille en afgørende rolle for, hvor godt en indsats virker. Med propensity-score-matching kan man derfor aldrig vide, hvor meget resultaterne skævvrides. 

Søskende- og tvillingestudier antager, at børn af samme biologiske mor (eller mor-far par) vokser op under sammenlignelige forhold og deler nogle arvelige karakteristika, som gør dem sammenlignelige på nogle uobserverbare karakteristika. Disse studier sammenligner derfor eksempelvis udfaldet for den ene bror med udfaldet for hans tvilling eller biologiske bror (og det samme for piger eller på tværs af køn). Validiteten af disse sammenligninger afhænger af, om der findes arvelige karakteristika, som gør søskende ekstra sammenlignelige. Fordelen ved disse analyser er, at man kan benytte historisk data, og at man kan analysere udfald, som ikke afhænger af en indsats, fx teenagegraviditeter.

Regressionsanalyser undersøger, om der er en statistisk sammenhæng (korrelation) mellem to variable, når der kontrolleres for betydningen af andre variable, fx om der er en sammenhæng mellem forældrenes uddannelsesniveau og elevens resultater i foleskolens prøver, når der kontrolles for andre observerbare forskelle mellem eleverne. Analyserne gennemføres på baggrund af eksempelvis register- eller spørgeskemadata og beregner, hvor meget den forklarende variabel (her: forældrenes baggrund) forklarer variationen i udfaldet (her: elevens resultater i folkeskolen prøver). 

Andre kontrolstudier på TrygFondens Børneforskningscenter:

Før-efter målinger

Før-efter-målinger sammenligner udviklingen før og efter en indsats. Dermed udelades en egentlig sammenligningsgrupper. 

Hvis alle personer i målgruppen modtager en indsats på samme tid, kan det være svært at finde en troværdig sammenligningsgruppe. Det kan f.eks. være tilfældet ved ny lovgivning. Derfor kan man vælge at sammenligne udfaldet for alle, som modtog indsatsen med forventningen til, hvordan de ville klare sig uden indsatsen.

Før-efter målinger sammenligner personers trivsel, kompetencer mv. før og efter en indsats. Disse målinger tager derfor ikke højde for, om personerne var kommet i bedre trivsel eller blevet bedre til at læse, hvis de ikke havde modtaget indsatsen. De tager heller ikke højde for, om de involverede personer bliver påvirket af andre begivenheder eller indsatser i samme periode. I særlige tilfælde er der dog adgang til mange observationer om personens udfald inden indsatsen, som gør det muligt at sandsynliggøre en underliggende trend. Dermed kan analysen belyse et ”knæk” i denne trend, hvilket vil være med til at styrke analysens konklusion.

Kvalitative analysemetoder

Kvalitative analyse metoder kan give indblik i, hvordan en indsats virker, og hvordan deltagerne oplever indsatsen. Det kan eksempelvis være gennem dybdeinterview med brugere og medarbejdere eller observation. I TrygFondens Børneforskningscenter anvender vi ofte kvalitative analyser i kombination med en eller flere af de ovennævnte kvantitative analysemetoder. Dermed opnår vi både sikker viden om, hvorvidt en indsats virker, og en mere nuanceret forståelse for, hvordan indsatsen fungerer i praksis. Her er et par eksempler på projekter, hvor vi har anvendt kvalitative analysemetoder: