Kvalitetsvurdering

Det er sigtet med forskningsoversigterne at identificere indsatser, der forventes at have en virkning eller kan give anledning til inspiration i forhold til integrationen af etniske minoritetsbørn og -unge i Danmark. Derfor har vi kun medtaget indsatser, som er evalueret ved et kvantitativt forskningsde-sign, som giver mulighed for at vurdere, om der enten er en virkning af indsatsen over tid eller mellem en indsats- og kontrolgruppe. Uanset om studierne resulterer i positive, negative eller ingen virkninger af indsatserne, medtages de i vores gennemgang. I afsnittet 2.5.1 om design og virkninger redegør vi kort for typerne af forskningsdesign og for, hvor sikker den viden, de forskellige forsk-ningsdesign resulterer i, er. Her fremgår det bl.a., at før- og eftermålinger uden kontrolgruppe er mindre sikre end lodtrækningsforsøg og indsatser med kontrolgrupper.

Når vi har vurderet inkluderede studiers designmæssige styrke, og hvorvidt der er tale om sikker eller mindre sikker viden, er næste skridt i kvalitetsvurderingen at undersøge, om indsatsen betrag-tes som relevant i dansk sammenhæng. Når vi i rapporten taler om relevans, forholder vi os både til, om den pågældende etniske minoritetsgruppe, der undersøges, er til stede i Danmark, og/eller om den integrationsproblematik, som indsatsen sigter mod at imødegå, findes i Danmark (evt. for andre end etniske minoritetsbørn og -unge).

Endelig forholder vi os i kvalitetsvurderingen også til, om det kan forventes, at indsatsen kan over-føres til en dansk sammenhæng. Kan en skoleindsats fra USA fx implementeres i det danske sko-lesystem, og hvilken tilpasning forventer vi, der evt. skal til.

2.5.1 Design

I det følgende gennemgår vi kort de forskellige forskningsdesigntyper, som de inkluderede studier i forskningsoversigten anvender.

2.5.1.1 Lodtrækningsforsøg

RCT-design (randomized controlled trial) kaldes i en dansk sammenhæng ofte for ”lodtrækningsfor-søg”, fordi tildelingen af en indsats sker ved en lodtrækning (randomisering), hvilket betyder, at det er tilfældigt, om en given person ender i indsats- eller kontrolgruppen. Om indsatsen har en virkning, undersøges ved at sammenligne indsats- og kontrolgruppe. Styrken ved lodtrækningsforsøgene er, at lodtrækningen af deltagerne til en indsats- og en kontrolgruppe medfører, at de to grupper ligner hinanden mest muligt, både hvad angår målbare og ikke-målbare faktorer. Såfremt lodtræknings-forsøget er udført korrekt, kan man således tilskrive eventuelle virkninger indsatsen og tale om, at indsatsen er årsagen til den ændring i fx adfærd, som kan observeres.

2.5.1.2 Kontrolgruppedesign

Med et kontrolgruppedesign er indsatserne, som ved et lodtrækningsforsøg, målt på baggrund af en indsats- og en kontrolgruppe. Indsatsen er dog ikke tildelt tilfældigt. Derimod er kontrolgruppen sam-mensat, så den ligner indsatsgruppen på en række variable, der formodes at være centrale for, om indsatsen har en virkning. Et kontrolgruppedesign kan både være med og uden en før- og eftermå-ling. Ved måling af indsatsens virkning betragtes kontrolgruppedesign som værende mindre sikker

end lodtrækningsforsøget. Det skyldes, at der kan være en vis (selv-)selektion i indsatsgruppen, således at de personer, der får indsatsen, ikke er helt sammenlignelige med de personer, der indgår i kontrolgruppen, på en række faktorer, som ikke (kan) måles i det pågældende studie.

2.5.1.3 Før- og eftermåling uden kontrolgruppe

Ved en ren før- og eftermåling er der ingen kontrolgruppe. Der foretages udelukkende en måling af indsatsgruppen, før indsatsen igangsættes og ved indsatsens afslutning. Formålet er at vurdere, om der er sket forandringer på de faktorer, som indsatsen sigter mod at forandre. Udfordringen i dette design er, at der ikke tages højde for, hvordan gruppen ville have udviklet sig, hvis ikke den havde modtaget en indsats. Den principielle svaghed ved dette design er, at der, selvom det viser sig, at der er sket forandringer, ikke er nogen sikkerhed for, at det er indsatsen, der er årsagen.

2.5.1.4 Regressionsanalyser – statistisk kontrol

Ud over de ovenævnte design anvender enkelte studier også regressionsanalyser med interaktioner for etnicitet. Nogle af disse ser også på udfaldsmål over tid, men de fleste anvender tværsnitsdata – det vil sige data på et givet tidspunkt. Analyser af udfaldsmål over tid er som udgangspunkt mere sikkert, end når der kun er målt på et enkelt tidspunkt. Men under alle omstændigheder afføder disse tilgange generelt mindre sikker viden end lodtrækningsforsøget og oftest også end studier med kon-trolgrupper.

2.5.1.5 Statistiske metoder

I de forskellige evalueringer anvendes også forskellige statistiske metoder til at analysere data. Der anvendes bl.a. t-test, variansanalyse, kovariansanalyse, latent growth models. I vores beskrivelser nævner vi ikke de konkrete metoder, men forholder os i vores vurderinger overordnet til både design og dataanalysernes styrke. Er man interesseret i, hvilke konkrete statistiske metoder der anvendes, henviser vi således læseren til primærstudierne.

2.5.1.6 Effektstørrelser

For de studier, som opgiver effektstørrelsesmål – det vil sige en standardiseret enhed, hvor man i princippet kan sammenligne effekter eller virkninger på tværs af studier – vil vi kommentere på ef-fektstørrelserne som enten store, moderate eller små. Der kan anvendes forskellige effektstørrel-sesmål, fx Cohen’s d, men i indeværende sammenhæng vil vi ikke yderligere kommentere på typen af effektmål, blot i en fodnote skrive, hvilket effektstørrelsesmål, der er tale om.

2.5.2 Relevans i dansk kontekst

De 81 inkluderede studier fordeler sig, jf. afsnit 2.3.1, på en række forskellige vestlige lande, hvor langt størstedelen af studierne (61) undersøger indsatser i USA. Der er store forskelle mellem Dan-mark og USA, både med hensyn til velfærdsstatstyper og dermed fx graden af deprivering blandt de mest udsatte samfundsgrupper og med hensyn til de etniske minoriteters oprindelseslande og deres relative andele i forhold til majoritetsbefolkningen. Derfor er det afgørende i forbindelse med vores kvalitetsvurderinger at forholde sig til, hvorvidt de pågældende etniske minoritetsgrupper er sam-menlignelige i nogle eller flere henseender med etniske minoritetsgrupper i Danmark.

I USA har man af indvandrerhistoriske årsager en gruppeinddeling, som ikke afspejler situationen i Danmark/Vesteuropa. Først og fremmest ift. de afroamerikanere, som har en helt unik plads i USA's historie og derfor i meget ringe grad er sammenlignelig med etniske minoritetsgrupper i Danmark.

En vigtig forskel er også, at afroamerikanere jo fx heller ikke er to-sprogede, men deler modersmål med majoritetsbefolkningen.

Derimod argumenterer vi i rapporten for, at latinamerikanere i USA og i det hele taget de fleste andre indvandrings- og flygtningeminoriteter i større eller mindre grad har udfordringer, som mange af de danske etniske minoritetsgrupper står over for. Derfor mener vi, at mange af de indsatser, som er rettet mod andre minoritetsgrupper end afroamerikanere i USA, ofte kan være mere relevante – eller delementer kan være relevante i dansk sammenhæng. Dermed ikke sagt, at alle disse indsatser er relevante i danske sammenhæng, så det gør vi os overvejelser om for hvert enkelt studie.

2.5.3 Overførbarhed

Endelig har VIVE i sin kvalitetsvurdering forholdt sig til, om indsatserne også er overførbare til en dansk sammenhæng. Med overførbarhed mener vi, om indsatsen (evt. med tilpasning) forventes at være mulig at implementere i Danmark, og hvilken tilpasning vi antager, der evt. skal til.