Evalueringen har fulgt tre hovedspor: en implementeringsevaluering, en vurdering af metodeaf-prøvningens resultater og en økonomisk analyse.
3.2.1 Implementeringsevaluering
Implementeringsevalueringen skal dels svare på, om implementeringsmodellen er fulgt og vur-dere, i hvilken grad Åben Dialog er udført som foreskrevet (trin 2 i Contribution Analysis), dels afdække, hvilke faktorer der har væsentlig indflydelse på implementeringen af metoden.
Implementeringsevalueringen har følgende to fokusområder:
1. Fidelitetsmåling - selve metodens implementering med passende grad af fidelitet 2. Konteksten eller rammebetingelserne for implementeringen.
Evalueringen af i hvilken grad metoden er implementeret med fidelitet bygger dels på beskrivel-se af og resultater fra certificeringsprocesbeskrivel-sen af de involverede medarbejdere, dels på spørge-skemaundersøgelser og interview blandt borgere, netværk og medarbejdere.
Evalueringen af kontekst- og rammebetingelser tager udgangspunkt i eksisterende viden, om hvilke faktorer der generelt synes at påvirke implementering af nye metoder, det vil sige både hæmmende og fremmende faktorer, og en mere specifik undersøgelse af hvilke faktorer, der formodes at spille en rolle for implementeringen af Åben Dialog.
Dataindsamlingen består af tre runder spørgeskemaundersøgelser blandt Åben Dialog-medarbejderne og projektledere, samt opfølgende interview. Desuden er data indsamlet via Åben Dialog-medarbejdernes udfyldelse af fidelitetsspørgeskemaer. Kommentarer og erfaringer fra casebeskrivelserne inddrages, når de er relevante.
3.2.2 Evaluering af metodens resultater
Evalueringen af metodens resultater skal dels svare på, hvilken udvikling borgerne gennemgår, dels sandsynliggøre at Åben Dialog har bidraget til denne udvikling (trin 3 i Contribution Analysis).
Evalueringen af resultater tager udgangspunkt i den indsatsteori, der er udarbejdet for den borger-rettede indsats (Åben Dialog). Overordnet set er forventningen, at Åben Dialog fører til øget grad af klinisk og/eller social recovery for borgerne. For den målgruppe, der indgår i projektet, kan recovery imidlertid være en lang proces med mange trin på vejen, og det er relevant også at evaluere disse skridt. Indsatsteorien beskriver således i detaljer de forventede resultater af indsatsen på både kort og lang sigt, og de antagelser, der ligger bag de formodede sammenhænge mellem indsatsens
delelementer og resultater. Evalueringen er tilrettelagt, så både de kortsigtede og langsigtede resul-tater vurderes.
Evalueringen af resultaterne har følgende fokusområder:
1. Kvantitative og kvalitative vurderinger af de kortsigtede resultater 2. Kvantitative og kvalitative vurderinger af de langsigtede resultater
3. En vurdering af i hvilken grad resultaterne kan tilskrives Åben Dialog og/eller elementer heraf.
Designet skal her tilgodese behovet for at få indsatsteoriens antagelser belyst fra flere vinkler, og evalueringen er derfor tilrettelagt som en kombination af en kvantitativ før- og eftermåling for alle deltagere og en casestudiestrategi for udvalgte deltagere, hvor der indgår interview med borgere, Åben Dialog-medarbejdere og netværksdeltagere. Desuden indgår borgernes, netvær-kets og medarbejdernes vurderinger af netværksmøderne og udbyttet af disse.
Før-eftermålingen dokumenterer borgernes udvikling ved hjælp af to spørgeskemaer, der måler på henholdsvis trivsel (WHO-5) og recovery (MHRM). 10 casestudier beskriver borgernes, net-værkets og medarbejdernes oplevelser og vurderinger af delelementerne i Åben-Dialog-forløbene og deltagernes udbytte. Disse resultater belyser de kortsigtede resultater af Åben Dialog, og dermed skridt på vejen i forhold til recoveryprocessen, og de bidrager til den samlede effektvurdering ved at dokumentere, at Åben Dialog medfører de forventede resultater på kort sigt og dermed bidrager til recoveryprocessen.
Som en yderligere støtte til at foretage analysen af hvorvidt borgernes udvikling skyldes delta-gelse i et Åben Dialog-forløb, har tre udvalgte casestudier været genstand for en auditproces.
Auditprocessen indebærer, at et ekspertpanel vurderer de pågældende borgeres udvikling, og i hvilken grad denne skyldes, at de har indgået i projektets Åben Dialog-forløb. Auditpanelets drøftelser tager således kun udgangspunkt i tre udvalgte cases, men inddrager paneldeltager-nes brede erfaring med målgruppen og med Åben Dialog. Panelets vurderinger anvendes i evalueringen til at understøtte analysen af Åben Dialogs bidrag til borgernes udvikling (Contri-bution Analysis). Auditpanelets drøftelser af de tre cases bidrager desuden til en perspektive-ring af evalueperspektive-ringens resultater.
3.2.3 Økonomisk analyse
De økonomiske konsekvenser af indsatsen er analyseret ud fra et omkostningsperspektiv. Først og fremmest indgår implementerings- og driftsomkostninger i form af timeforbrug i forbindelse med Åben Dialog-forløbene i omkostningsvurderingen. Vurderingen bygger på data indsamlet i det konkrete projekt, men det drøftes også hvilke omkostninger, der vil være sandsynlige i en fremtidig kommunes implementering og drift af Åben Dialog.
Derudover indgår omkostninger til sundhedsydelser for de borgere, der har indgået i Åben Dia-log-forløb. Som grundlag for dette kortlægges ressourceforbrug og omkostninger i forbindelse med somatiske og psykiatriske sengedage, somatiske og psykiatriske ambulante besøg, define-rede døgn doser receptpligtig medicin; antipsykotika, anxiolytika, hypnotika, antidepresiva og psykostimulerende. Omfang og omkostninger af sengedage og ambulante besøg er hentet fra landspatientregisteret og receptpligtig medicin er hentet fra lægemiddelstatistikregisteret.
Der er yderligere lavet en analyse af arbejdsmarkedstilknytning, hvor information indhentes fra registeret DREAM. Da kun få af de 94 borgere er selvforsørgende er det ikke relevant at lave en økonomisk analyse af tabt arbejdsfortjeneste. Der laves i stedet en analyse af ændringer i ar-bejdsrelateret aktivitet.
4 Rammer for metodeafprøvningen
I dette kapitel præsenteres de rammer for metodeafprøvningen, som er relevante for forståelsen af evalueringen.
Dette kapitel indeholder:
En præsentation af projektkommunerne
En præsentation af metoden samt manualen
En kort beskrivelse af det kompetenceudviklingsprogram Åben Dialog-medarbejderne har gennemgået
Definitionen af et Åben Dialog-forløb i detteprojekt
Projektets inklusionskriterier og den aktuelle målgruppe.