I dette kapitel beskriver vi evalueringens datagrundlag og de metoder, der er anvendt til at indsamle de data, som analyserne bygger på. Der er, som led i evalueringen, både indsamlet kvantitative og kvalitative data.
De kvantitative data består dels af individdata om borgerne, der indgår i indsatsen, dels af data på kommuneniveau om fideliteten af indsatsen i den enkelte kommune, det vil sige mål for, om indsatserne følger kerne-elementerne og grundprincipperne i Housing First-indsatsen og bostøt-temetoderne.
DEN KVANTITATIVE DOKUMENTATION
Som et led i implementeringsevalueringen blev der opsat to spørgeske-mabaserede måleinstrumenter i Rambølls it-system Rambøll Results. Indi-viddokumentationen var en specifik måling af indsatsen og udviklingen hos den enkelte borger, mens fidelitetsmålingerne var en måling på, hvor tro kommunerne var mod grundprincipperne i Housing First-tilgangen og de tre bostøttemetoder i forbindelse med implementeringen. Individ-dokumentationen blev varetaget af bostøttemedarbejderne, mens den lokale projektleder i kommunerne foretog fidelitetsmålingerne.
INDIVIDDOKUMENTATIONEN
For at vurdere resultaterne af bostøttemetoderne for borgerne blev der for hver borger, der var en del af et indsatsforløb, målt på specifikke pa-rametre på individniveau. Individdokumentationen indeholdt en række målinger, som blev udfyldt af borgerens bostøttemedarbejder. De enkelte indikatorer var ens for alle borgere i alle tre indsatser, men der blev fore-taget et forskelligt antal målinger, afhængigt af længden af forløbet. Må-lingerne blev foretaget hver tredje måned.
Selve individdokumentationen indeholdt mål for følgende for-hold for borgeren:
• Boligsituation
• Fysisk og psykisk helbredsmæssig tilstand
• Funktionsniveau i forhold til at håndtere dagligdagsaktiviteter
• Beskæftigelse og forsørgelsesgrundlag
• Socialt netværk
• Økonomi.
Derudover blev der dokumenteret en række mål omkring selve indsatsen, blandt andet i forhold til hyppighed og indhold i den kontakt, der var mellem bostøttemedarbejder og borger, samt om borgeren har en ud-redning og en handleplan.
Den første måling var en såkaldt baselinemåling i et opstarts-skema for hver borger med informationer og baggrundsdata om borge-rens situation ved indtrædelse i projektet. Denne måling betragtes i eva-lueringen som opstartsmålingen (’førmåling’). Efterfølgende målinger med fokus på status for borgeren i et igangværende skema blev dokumenteret løbende med en kadence på hver tredje måned. Det er varierende på tværs af forløb, hvor mange målinger der blev foretaget af denne karak-ter. Der blev derudover foretaget en afsluttende måling i et afslutnings-skema, som i evalueringen betragtes som slutmålingen (’eftermåling’).
BORGERENS EGEN VURDERING AF LIVSSITUATIONEN
Udover individdokumentationen, der udfyldes af bostøttemedarbejderen, findes en række spørgsmål, der indeholder forskellige mål for borgerens livssituation og psykiske helbred, og som borgeren selv er med til at ud-fylde. Disse mål drejer sig om borgerens vurdering af følgende forhold:
• Borgerens velvære
• Borgerens hverdagslige aktiviteter
• Borgerens psykiske problemer
• Borgerens brug af rusmidler
Disse spørgsmål blev stillet til borgeren i forbindelse med udfyldelsen af individdokumentationen, altså hver tredje måned undervejs i bostøttefor-løbet. Ligesom for individdokumentationen varierer det, hvor mange målinger der er blevet foretaget af denne karakter, afhængigt af forløbets længde. Der er samtidig også et større bortfald i besvarelserne for denne type målinger, hvor borgeren selv har skullet medvirke til besvarelsen, end ved individdokumentationen, der er udfyldt af bostøttemedarbejde-ren uden borgebostøttemedarbejde-rens direkte medvirken. Det kan være udtryk for, at bor-geren i perioder ikke har følt sig i stand til at være med til at udfylde skemaet, fx pga. at borgeren har haft det dårligt. Der er også tilfælde, hvor borgeren ikke har ønsket at udfylde skemaet sammen med temedarbejderen, men hvor borgeren i stedet har sagt god for, at bostøt-temedarbejderen har udfyldt den del af individdokumentationen, der har været rettet til bostøttemedarbejderen. Det forhold, at der er en del for-løb (cirka en tredjedel), hvor borgeren ikke har besvaret den borgerrette-de borgerrette-del af spørgeskemaet, betyborgerrette-der, at borgerrette-der for disse oplysninger er en lidt større risiko for, at der kan være tale om en selektion, hvor borgerne med de mest massive psykosociale problemer i mindre grad har besvaret spørgsmålene.
FIDELITETSMÅLINGERNE
Fidelitetsmålingerne giver et indblik i, hvor tro kommunerne har været mod grundprincipperne i Housing First-tilgangen, indsatserne og organi-seringen i forbindelse med implementeringen. Fideliteten er således et udtryk for, hvorvidt indsatsen er implementeret metodeloyalt. En høj grad af fidelitet er vigtig for at skabe de ønskede resultater for borgerne og for samtidig at kunne sandsynliggøre, at resultater for borgerne kan tilbageføres til indsatsen og metoderne. Hvis metoderne derimod ikke implementeres med en høj grad af fidelitet – det vil sige hvis metoderne ikke udføres som de er tiltænkt, men derimod afviger væsentligt fra me-todebeskrivelserne – kan det betyde, at der ikke opnås de ønskede resul-tater for borgeren. Det kan fx være, hvis bostøttemetoderne ikke
over-holder kravene til en forholdsvis lav caseload, eller hvis der ikke er mu-lighed for fleksibelt at tilpasse omfanget af støtten til borgerens behov.
Fidelitetsmålingsredskabet, der blev anvendt, blev udviklet med inspiration fra det amerikanske fidelitetsmålingsredskab ”Pathways Hou-sing First Fidelity Scale”, men tilpasset danske forhold.13 Desuden blev der opstillet fidelitetsmål, der var særligt tilpasset Implementerings- og forankringsprojektets fokus på at styrke samarbejdet og organiseringen omkring Housing First-indsatsen.
I fidelitetsskemaet blev der målt på tre overordnede temaer:
• Fideliteten i forhold til grundprincipperne i Housing First-tilgangen
• Fideliteten af bostøttemetoderne (CTI, ICM og ACT)
• Fideliteten i forhold til krav til organisering og samarbejde omkring Housing First-tilgangen
I spørgsmålene blev der anvendt en skala fra 1-4, hvor 1 er en meget lav grad af fidelitet, og 4 er en meget høj grad af fidelitet. Til hver kategori på fidelitetsskalaen var der for hver af de enkelte indikatorer knyttet en beskrivelse af, hvad der kendetegnede det pågældende niveau af fidelitet.
Data til dokumentation af fidelitet i implementeringen stammer fra selvrapporteringer fra kommunerne. Det betyder, at det er projektle-derne, der selv (evt. i samarbejde med bostøttemedarbejderne og andre medarbejdere involveret i indsatsen i kommunen) har vurderet, i hvilken grad de har implementeret de centrale grundprincipper i Housing First-tilgangen, bostøttemetoderne samt krav til organisering og samarbejde.
Fidelitetsmålene blev udarbejdet således, at de ekspliciterer indsatsens grundprincipper, og således også bidrog til løbende læring og forståelse af indsatsens grundprincipper for de medarbejdere, der udfyldte fideli-tetsmålingen undervejs. Resultaterne af de løbende fidelitetsmålinger blev bragt i spil på netværksmøder mellem Socialstyrelsen og kommu-nerne gennem projektforløbet med henblik på at styrke implementerin-gen af indsatsen undervejs i projektforløbet. Fidelitetsmålingerne var så-ledes en del af evalueringens formative karakter.
Fidelitetsdata blev indberettet af projektlederne hver tredje må-ned. Når fidelitetsmålene var baseret på selvvurdering, betyder det, at data ikke nødvendigvis er fuldt ud objektivt rapporteret, men evaluator-gruppen vurderer ud fra kontakten med kommunerne undervejs i
13. Tsemberis (2010).
bet, at kommunerne gik systematisk til arbejdet og havde fokus på at indberette pålidelige data. Oplysninger fra kommunerne peger dog på, at nogle kommuner primært svarede specifikt ud fra de forløb, som de havde i gang, mens andre kommuner svarede mere generaliserende. Det kan fx gøre sig gældende omkring samarbejdsrelationer, hvor der kan være svaret med fokus på de konkrete borgerforløb, eller der kan være svaret mere generelt på socialafdelingens samarbejde med andre afdelin-ger og aktører.
DE KVALITATIVE INTERVIEW
Der indgår i evalueringens datamateriale også et omfattende materiale fra interview med både nøglepersoner, der er involveret i indsatsen i kom-munerne, og med borgere, der har modtaget en indsats gennem Housing First-programmet.
Den kvalitative dataindsamling var baseret på en udvælgelse af otte casekommuner, i hvilke der blev interviewet en række nøglepersoner, som var involveret i indsatsen. I disse kommuner blev der, udover en projektleder, typisk interviewet en forvaltningsleder, en myndighedschef, en boformsleder og en eller flere bostøttemedarbejdere eller ledere for bostøtteindsatsen. Casekommunerne blev udvalgt, så de repræsenterede et forskelligartet udsnit af kommuner i forhold til størrelse, landsdel og organisering. I de øvrige kommuner blev der foretaget et interview med projektlederen.
I syv af de otte casekommuner blev der også foretaget interview med borgere, der har deltaget i Housing First-indsatsen. Der blev i alt gennemført 17 borgerinterview. Ved borgerinterviewene formidlede bo-støttemedarbejderen en kontakt til borgeren. Der kan i den forbindelse være taget hensyn til, hvilke borgere der ville kunne gennemføre et inter-view, ligesom der var borgere, der blev adspurgt om deltagelse, men som ikke ønskede at blive interviewet. Der er en risiko for, at der i en sådan udvælgelsesproces kan ske en selektion, hvor de allersvageste borgere ikke bliver interviewet. Borgerne repræsenterede forskellige aldersgrup-per, og der var lidt flere mænd end kvinder. Der var dog kun én borger med etnisk minoritetsbaggrund. Ved en gennemgang af interviewene er det indtrykket, at de interviewede borgere udgør et bredt udsnit af de borgere, der indgik i indsatsen, herunder i forhold til de mange
forskelli-ge sammensatte sociale og helbredsmæssiforskelli-ge problemer, der kendetegner hovedparten af borgerne i indsatsen, som det er dokumenteret i kapitel 5 om målgruppens profil.
Alle interviewpersoner – både nøglepersoner og borgere – frem-træder anonymiserede i rapporten, og der henvises for nøglepersonernes vedkommende udelukkende til deres funktion, fx som projektleder eller bostøttemedarbejder, mens der ikke gengives oplysninger om, hvilken kommune personen repræsenterer.
KAPITEL 4