Fremgangsmåde

Udviklingen af ovenstående kriterier og operationaliseringen heraf i en konkret søgestreng er sket i tæt dia-log med Det Kriminalpræventive Råd. Herudover har Terje Ogden, professor, ph.d. og forskningschef ved Atferdssenteret i Norge bidraget til kvalificering af søgestrategien inklusive valget af relevante kilder. I det følgende beskrives den konkrete fremgangsmåde i forbindelse med søgeprocessen og den efterfølgende screening, kodning og analyse af søgeresultaterne.

10.2.1 Kvalificering af søgestreng

Som led i kvalificeringen af søgestrengen har Oxford Research gennemført en række testsøgninger med henblik på at finde frem til de mest relevante søgeord og den mest hensigtsmæssige sammensætning af disse i søgestrenge. Testsøgningerne er gennemført i databaserne ERIC og Sociological Abstracts samt Psy-cINFO (sammensøgt via ProQuest).

I forbindelse med testsøgningerne er der samtidig foretaget en afsøgning af databasernes tilhørende syno-nymordbog (thesaurus), som indeholder definitioner og synonymer for en lang række ord og begreber, som anvendes i databasernes registreringer. Denne afsøgning har resulteret i såvel tilføjelser som udeladelser af bestemte søgeord.

Søgeordene er grupperet i forskellige ”klynger”, alt efter som de relaterer sig til målgruppekarakteristika (alder og risikofaktorer), indsatskarakteristika (type), undersøgelseskarakteristika (effektmåling) eller tjener til afgrænsning ift. kortlægningens fokus. De enkelte søgeord i en gruppe kædes sammen med den logiske operator ”OR” for at markere, at blot ét af ordene ønskes, mens hver gruppe af søgeord kædes sammen med den logiske operator ”AND” for at markere, at teksten (abstract) SKAL indeholde mindst ét søgeord fra hver gruppe.

Alle søgeord er desuden gennemgået med henblik på at sikre, at der trunkeres, hvor dette er relevant, såle-des at alle relevante endelser af et ord medtages i søgningen – fx dækker søgeordet assess* sålesåle-des både over assess, asessess, assessment, assessments og assessing, mens delinquen* både dækker over delin-quent og delinquency og ”emotion* regulation” også dækker ”emotional regulation”. Herudover anvendes wildcard karakteren ”?” for at indfange både amerikansk og britisk stavemåde af behavi?or.

Tilpasningen af søgeord og søgestrenge er foretaget på engelsk. Der er dog indledningsvist taget udgangs-punkt i danske søgeord, som er fremkommet via en udspecificering af ovenstående kriterier vedr. hhv. mål-gruppe, indsats og indsatseffekt og herefter er oversat og bearbejdet på engelsk. Oversættelser til svensk og norsk (med henblik på søgning på relevante hjemmesider) er kvalitetssikret af personer med hhv. svensk og norsk som modersmål.

10.2.2 Kilder

Der er foretaget systematiske litteratursøgninger på titler/abstracts i følgende videnskabelige databaser med udgangspunkt i samme søgestreng:

 Sociological Abstracts

 PsycINFO

 ERIC

 socINDEX

 Criminal Justice Abstracts

 PubMed

 The Cochrane Library

 The Campbell Library

Hvor det er muligt, er der foretaget samsøgning i overordnede databaser, som dækker flere faglige databa-ser og kontrollerer for dubletter (ProQuest og EBSCOhost).

Da det generelt ikke kan antages, at programmer som har vist sig effektive i ét land, umiddelbart kan over-føres til andre lande¹⁰, er der lagt særlig vægt på at søge efter indsatser, som er afprøvet i de skandinaviske lande. Følgende hjemmesider er således også blevet afsøgt for relevante studier eller referencer til studier:

 Cristin.no (Current Research Information System in Norway)

 Kunnskapssenteret.no

 EPPI-Centre/Evidence Library

 Evidencebasedprograms.org (Coalition for Evidence-Based Policy)

 Forskningsdatabasen.dk

 National Criminal Justice Reference Service (NCJRS)

 NORART(Norske og nordiske tidsskriftartikler via Norges Nasjonalbibliotek)

 SFI – Det Nationale Forskningscenter for Velfærd

 Social Science Research Network (SSRN)

 Socialstyrelsen.se

 Ungsinn.no.

10.2.3 Screening og kodning

Den systematiske litteratursøgning i ovennævnte videnskabelige databaser og hjemmesider resulterede i over 6.000 søgeresultater. Alle søgeresultater blev herefter screenet på titel og abstract mhp. at vurdere deres relevans for den videre analyse. Screeningen er sket på baggrund af de overordnede kriterier for in-klusion og eksin-klusion:

 Undersøgelsesdesign

 Målgruppe

 Indsatstype

De studier, som umiddelbart så ud til at leve op til alle tre kriterier, hvilket vil sige, at de både havde et rele-vant undersøgelsesdesign og omhandlede en relerele-vant indsatsstype over for en relerele-vant målgruppe, blev indført i en database oprettet til formålet. I tvivlstilfælde blev det pågældende studie medtaget i databasen til en grundigere vurdering.

Den indledende screening af titler og abstracts førte til, at cirka 350 arikler i første omgang blev inkluderet.

Efter at have fremskaffet fuldtekster, blev disse gjort til genstand for en nærmere gennemlæsning og vurde-ring af det enkelte studies relevans. Såfremt et studie er blevet ekskluderet i forbindelse med kodningen, er årsagen hertil noteret i databasen. Databasen indeholder således alle de inkluderede artikler såvel som en selvstændig oversigt over, hvilke artikler der er blevet ekskluderet og den primære årsag hertil. I alt indgår 84 artikler vedr. primærstudier samt 16 metaanalyser i nærværende kortlægning.

Figur 10.1 er et såkaldt ”flowchart”, der viser antallet af søgeresultater og processen ift. inklusion eller eks-klusion af de identificerede artikler.

10 Der kan fx være store forskelle på opdragelsespraksis mellem lande, hvilket kan have betydning for relevansen og effekten af

indsat-Figur 10.1. Søge- og eksklusionsproces

Søgning i videnskabelige databaser:

 Sociological Abstracts

 PsycINFO

 ERIC

 socINDEX

 Criminal Justice Abstracts

 PubMed

 The Cochrane Library

 The Campbell Library

Søgning på udvalgte relevante hjemmesider:

 Cristin.no

 Kunnskapssenteret.no

 EPPI-Centre

 Evidencebasedprograms.org

 Forskningsdatabasen.dk

 National Criminal Justice Reference Service

 NORART – Norges Nasjonalbibliotek

 SFI

 Social Science Research Network

 Socialstyrelsen.se

 Ungisinn.no

8.130 artikler er screenet på titel og abstract

375 artikler er screenet i fuldtekst

84 artikler vedr. primærstudier er inkluderet i forskningsoversigten.

Fordeling på indsatstyper (antal artikler):

 Forældretræning: 19

 Social færdighedstræning: 7

 Vredes/ aggressionshåndtering: 7

 Kognitiv adfærdsterapi: 8

 Familiebaserede indsatser: 11

 Skolebaserede indsatser: 15

 Multimodale indsatser 12

 Andre typer indsatser: 5

7.758 artikler er frasorteret på titel og abstract

261 artikler er frasorteret ved screening af fuldtekster 11 artikler/bøger har ikke kunnet fremskaffes i fuldtekst 3 artikler er endnu ikke publi-ceret

Nedenstående figur viser en oversigt over de primære årsager til, at artikler/studier er blevet ekskluderet ved nærmere gennemlæsning.

Figur 10.2 Primære årsager til eksklusion

N = 261 (Review 68, Undersøgelsesdesign 54, Irrelevant målgruppe 53, Ikke relevant effektmål 16, Irrelevant indsatstype 15, Lav kvalitet 15, Andet 40)

De inkluderede artikler er alle kodet/genbeskrevet i forhold til en lang række variable på baggrund af fuld-tekster. Herefter er der gennemført tværgående analyser af de beskrevne primærstudiers karakteristika såvel som dybdegående analyser på tværs af primærstudier inden for hver indsatstype, jf. kapitel 2-9. Sam-let set giver kortlægningen således både et overblik over omfanget og karakteren af den eksisterende viden inden for kortlægningens formål og fokus såvel som en nærmere analyse af, hvilke typer indsatser der ser ud til at kunne styrke børn og unges selvkontrol og/eller reducere udadreagerende og aggressiv adfærd.

Kvalitetsvurderingen af studier har som ovenfor beskrevet først og fremmest tjent som en selektionsmeka-nisme, men er også inddraget i de tværgående analyser, idet studier, som er vurderet til at være af høj kva-litet, i de tværgående analyser har fungeret som en slags ”pejlemærker” for robustheden af den samlede vurdering. Det er således noteret, hvorvidt der er overensstemmelse mellem resultaterne af studierne af høj kvalitet og den samlede opsummering af resultaterne på tværs af studier inden for en given kategori. Det bemærkes dog, at der inden for de forskellige kategorier af indsatser i nogle tilfælde er tale om en forholds-vis høj grad af heterogenitet, hvorfor den tværgående analyse mere har karakter af en opsummering og ikke en samlet syntese, hvis resultat meningsfuldt kan holdes op imod udvalgte studier (det gælder fx skolebase-rede indsatser samt øvrige typer indsatser).

Det bemærkes, at der ikke er gjort forsøg på at sammenligne effekter på tværs af indsatstyper, da dette ikke anses for hverken muligt eller forsvarligt ud fra det givne datamateriale. En sådan øvelse ville kræve en statistisk metaanalyse og et mere snævert fokus i screeningen og kodningen af indsatser. Derudover skal selv standardiserede effektstørrelser altid tolkes i relation til den givne indsats. En lille effektstørrelse kan således have stor klinisk signifikans i nogle tilfælde, mens der er i andre sammenhænge kræves store ef-fektstørrelser for, at der kan siges at være tale om en reel udvikling.

26%

21%

20%

6%

6%

6%

15% Review

Undersøgelsesdesign Irrelevant målgruppe Ikke relevant effektmål Irrelevant indsatstype Lav kvalitet

Andet

In document SYSTEMATISK KORTLÆGNING AF METODER DERKAN STYRKE BØRN OG UNGES SELVKONTROL (Sider 79-83)