Effekten på fx trivsel af den ekstra støtte, der gives i forbindelse med en plejeanbringelse, kan helt basalt udtrykkes som forskellen mellem trivslen for et barn anbragt i familiepleje, når han/hun modtager en given type støtte, sammenlignet med, hvad trivslen ville have været, hvis vedkommende ikke modtog støtten.
Udfordringen ved dette evalueringsproblem er, at barnet/den unge ikke på samme tid både kan modtage og ikke modtage støtten. Vi kan således ikke måle det kontrafaktiske udfald, og eva-lueringsproblemet kan heller ikke løses ved blot at sammenligne barnets/den unges trivsel i årene før og efter støtten. Det skyldes, at forskellen mellem før og efter kan være udtryk for en generel udvikling, som alle børn/unge oplever i forhold til deres trivsel, og som således ikke nødvendigvis skyldes støttetiltagene eller måske kun i nogen grad skyldes den ekstra støtte. I stedet må vi sammenligne udfald mellem børn/unge, der modtager støtte, og dem, der ikke gør. Problemet med denne strategi er, at det ofte vil være sådan, at børnene har forskelligt behov for støtte, og dette behov vil ofte hænge sammen med barnets udfordringer. Ofte vil det være de børn/unge, der har flest udfordringer, der modtager mest støtte, og oftest vil børn med mange udfordringer have lavere trivsel. Derfor vil en simpel sammenligning mellem dem, der modtager støtte, og dem, der ikke gør, ofte vise en lavere trivsel blandt dem, der modtager støtte, uden at dette dog siger noget om effekten af støtten. Denne negative sammenhæng mellem støtten og det outcome, vi ønsker at måle effekten på, kaldes negativ selektion.
Selektionsproblematikken
Matematisk kan selektionsproblematikken formuleres således: Lad 𝑦𝑦𝑖𝑖(0) =𝛼𝛼+𝑢𝑢𝑖𝑖 være et individs potentielle outcome (fx trivsel) i tilfælde af, at han/hun ikke modtager en given støtte. Lad tilsva-rende 𝑦𝑦𝑖𝑖(1) =𝛼𝛼+𝛽𝛽𝑖𝑖+𝑢𝑢𝑖𝑖 være et individs potentielle outcome i tilfælde af, at han/hun modtager støtten. Den observerede outcome modelleres som følger, hvor 𝑑𝑑𝑖𝑖= 1, hvis individet modtager en given støtte:
𝑦𝑦𝑖𝑖=𝑑𝑑𝑖𝑖𝑦𝑦𝑖𝑖(1) + (1− 𝑑𝑑𝑖𝑖)𝑦𝑦𝑖𝑖(0) =𝛼𝛼+𝛽𝛽𝑖𝑖𝑑𝑑𝑖𝑖+𝑢𝑢𝑖𝑖
Lad nu 𝛽𝛽 være det effektmål, vi ønsker at identificere. Ovenstående ligning kan nu omskrives til:
𝑦𝑦𝑖𝑖=𝛼𝛼+𝛽𝛽𝑑𝑑𝑖𝑖+�𝑢𝑢𝑖𝑖+�𝛽𝛽𝑖𝑖− 𝛽𝛽�𝑑𝑑𝑖𝑖�
Heraf fremgår, at en regression af det observerede outcome (fx SDQ) på et givet støttetiltag d vil estimere effekten af støtten, såfremt:
1. d er uafhængig af u (dvs. ingen selektion på uobserverbare karakteristika)
2. d er uafhængig af �𝛽𝛽𝑖𝑖− 𝛽𝛽�, hvilket vil sige, at et barn må ikke tildeles en given støtte ud fra en forventning om, at dette barn vil få mest ud af støtten (ingen selektion på forventet gevinst).
Evalueringslitteraturen om anbragte børn har typisk fulgt to forskellige strategier til at håndtere selektionsproblematikken: enten at instrumentere selektionen ind i indsatsen med en eksogen variation, der ikke påvirker barnet direkte (se fx Doyle, 2007) eller ved at korrigere for selekti-onsproblemet ved at anvende meget rig data (se fx Lindquist & Santavirta, 2012).
Hvis man er bekymret for, at selektionen drives af uobserverbare faktorer, og man har det rette instrument, er den sidste metode at foretrække. I forhold til den støtte, der gives direkte til det anbragte barn, er vi bekymrede for, at selv med den meget rige data, vi har, vil beslutningen,
om et barn skal modtage en indsats, også baseres på faktorer, der ikke kan observeres i data, og vi foretrækker i disse tilfælde derfor at anvende instrumentmetoden. I kapitel 7 præsenteres effekten af specialundervisning, hvor vi netop gør brug af denne metode. I forhold til de øvrige individuelle støttetiltag (psykologhjælp, kontaktperson og økonomisk støtte til fritidsinteresse) har vi desværre ingen eksogene instrumenter, vi kan anvende, og det er derfor ikke muligt at lave en kausal effektmåling af disse støttetiltag.
I kapitel 7, hvor effektmålingen af den støtte, der gives indirekte til det plejefamilieanbragte barn enten via plejeforældrene eller via sagsbehandler, er præsenteret, løses problemet med negativ selektion ved at udnytte den meget rige data, vi har. Vi føler os trygge ved at anvende denne metode her, da de indledende analyser i bl.a. kapitel 4 viste, at kommunale faktorer og andre faktorer uafhængig af barnets egne evner driver størstedelen af sandsynligheden for, at plejeforældrene modtager en specifik form for støtte.
6.1 Investeringer i børns evner
Den grundlæggende idé bag effektmålingen af støttetiltag til plejebørn eller plejeforældre er, at et (pleje)barn til ethvert tidspunkt har en mængde evner, kognitive (IQ) såvel som sociale fær-digheder (se Heckman, 2006). Evnerne udvikler sig i hver periode, og udviklingen afhænger af tidligere evner, investeringer i evnerne samt udefrakommende stød (eksempelvis dødsfald i familien, egen sygdom eller lignende). Denne udvikling er illustreret i Figur 6.1. I denne analyse er investeringerne konkretiseret ved de støttetiltag, der gives til plejeforældre og plejebørn ud over selve anbringelsen, mens evnerne måles via skoleresultater (nationale test og 9. klasse afgangsprøve) og via børnenes trivsel og funktion målt ved SDQ (se kapitel 5).
Når vi ønsker at måle effekten af et givent støttetiltag målt i et givent år, tager vi derfor ud-gangspunkt i barnets niveau på det pågældende tidspunkt. Dermed inkluderes alle tidligere investeringer i barnet i form af tidligere anbringelser og diverse støttetiltag i det aktuelle evne-niveau. Dermed måler vi udekukkende effekten af et støttetiltag fra én periode til den næste.
For støttetiltag, der strækker sig over flere perioder, betyder det, at vi ikke måler effekten af hele indsatsen, men derimod måler effekten af én periodes støtte på næste periodes outcome.
Hvis effekten af en langvarig støtte er aftagende, således at barnet/den unge har størst gavn af støtten i starten, vil de estimerede effekter have tendens til at blive underestimerede. Hvis vi skulle estimere hele effekten af den fulde støtte, ville det imidlertid kræve, at vi kunne følge barnet og alle støttetiltag fra starten af anbringelsen, hvilket ikke har været muligt. Omvendt er måling af effekten på støtte på et givet tidspunkt også konsistent med den virkelighed, som plejefamilierne står over for, hvor tildeling af støtte gives fra år til år.
En vigtig del af investeringstanken særligt i forhold til sociale indsatser er, at afkastet nogle gange først indtræffer på lang sigt. Det betyder, at vi ikke nødvendigvis kan måle de fulde effekter inden for analysens tidsperiode. Hvis vi fx finder små effekter på de sociale færdighe-der på kort sigt, så vil det eventuelt kunne føre til større kumulerede effekter på lang sigt og måske ende med at føre til færre risikofaktorer i voksenlivet (misbrug, kriminalitet, langvarig ledighed), som vi blot endnu ikke kan måle. Tilsvarende har vi ikke mulighed for at måle IQ i form af resultater af afgangsprøver for alle børn/unge i populationen, da kun ca. halvdelen havde færdiggjort 9. klasse i sommeren 2018, som er seneste registrerede afgangseksamen i registerdata.
Figur 6.1 Investeringer i børns evner
Kilde: Egen tilvirkning.
Fødsel
Trivsel/evner Investering
(støtte) Stød udefra
t t +1
Trivsel/evner Investering
(støtte) Stød udefra
Trivsel/evner Investering
(støtte) Stød udefra