• Ingen resultater fundet

Delopgave 2: Evaluering – tilrettelæggelse, gennemførelse og formidling

18. Aktindsigt

19.6 Delopgave 2: Evaluering – tilrettelæggelse, gennemførelse og formidling

Der skal udarbejdes et samlet og sammenhængende evalueringsdesign for investeringen i udviklingen af den tidlige og forebyggende indsats over for målgruppen i de 10 kommuner. Den samlede evaluering skal tage afsæt i tre delelementer:

 En analyse af resultaterne af investeringen og udviklingen til en tidlig og forebyggende indsats i PPR via nøgleindikatorer, herunder registerdata for målgruppens udvikling

 En analyse af de økonomiske konsekvenser af investeringen og udviklingen af den tidlige og forebyggende indsats i PPR

 En erfaringsopsamling.

Tilbudsgiver skal give et forslag til et samlet evalueringsdesign, der opfylder formålene med og kravene til de tre delevalueringer, som de beskrives herunder.

Evalueringsdesignet skal være fleksibelt i forhold til, at leverandøren i projektets første måneder opnår ny viden om de deltagende kommuner; kommunernes udviklingsplaner for investeringen og udviklingen af indsatsen; samt den fælles drøftelse mellem

kommunerne, Socialstyrelsen og leverandøren om forandringsteorien og de faglige pejlemærker for omlægningen af indsatsen. Leverandøren skal derfor udarbejde et endeligt evalueringsdesign i form af et modenotat ved udgangen af første kvartal 2018.

Formål med evalueringen

Formålet med evalueringen er at få viden om resultaterne af, hvordan kommunerne har arbejdet med at udvikle og styrke PPR-indsatsen, samt de økonomiske konsekvenser af indsatserne. Evalueringen skal desuden vise hvordan kommunerne har arbejdet med

33 pejlemærkerne for indsatsen i PPR og belyse de mest lovende former for aktiviteter til målgruppen i relation til de fælles faglige pejlemærker. Denne viden kan efterfølgende bruges til videreudvikling og udbredelse af virkningsfulde og omkostningseffektive tiltag.

d) Analyse af resultaterne af investeringen og udviklingen via nøgleindikatorer

Formålet med at opstille og analysere nøgleindikatorer for resultaterne af investeringen og udviklingen af den tidlige og forebyggende indsats i PPR er at opnå viden om, i hvilken udstrækning man, med udviklingen af indsatsen i de 10 kommuner, opnår de ønskede resultater. Analysen skal i særdeleshed bidrage med viden om resultaterne for målgruppen af børn og unge.

Resultaterne skal første og fremmest være borgernære (resultater for børn og unge i målgruppen), men kan også være faglige og organisatoriske og skal udledes af formålet med og målsætningerne for investeringen og udviklingen af den tidlige og forebyggende indsats i PPR. Opstillingen af resultatmål skal tage afsæt i de tre overordnede fokusområder samt de indledningsvist kvalificerede faglige pejlemærker og den tværgående forandringsteori. Derfor kan de først endeligt opstilles når leverandøren kender de deltagende kommuners ønsker til udviklingsaktiviteter, den tværgående forandringsteori og de fælles faglige pejlemærker. Resultatmål og nøgleindikatorer vil derfor først skulle indgå i endelig form i forbindelse med udarbejdelse af metodenotat for det endelige evalueringsdesign, jf. indledningen til delopgave 2.

Indikatorerne kan – hvor det er muligt og hensigtsmæssigt – bero på allerede eksisterende datakilder, herunder registerdata. Det vil formentligt være nødvendigt at supplere med nøgleindikatorer udviklet til investeringen og udviklingen af den tidlige og forebyggende indsats i PPR, særligt hvad angår målsætninger af faglig og organisatorisk karakter. Her skal de deltagende kommuner være behjælpelige med den nødvendige dokumentation.

Resultaterne for målgruppen kan belyses ved hjælp af forskellige nøgleindikatorer og datakilder, men det er et krav, at der indgår relevante nøgleindikatorer og registeroplysninger i resultatmålingen. Der skal som minimum indgå nøgleindikatorer omkring trivsel, henvisning til børne- og ungdomspsykiatrien og så vidt muligt medicinering. Trivsel skal forstås i bred forstand som fx sundhed, skoletilknytning eller andet, der påvirker barnets evne til at fungere i egen hverdag. Der kan ud fra en konkret argumentation suppleres med andre typer data, herunder fx ved anvendelse af validerede måleinstrumenter3.

3 Se som inspiration Socialstyrelsens liste over validerede måleinstrumenter:

https://socialstyrelsen.dk/tvaergaende-omrader/socialstyrelsens-viden/metodestrategi/ny-validerede-instrumenter

34 Nøgleindikatorer for målgruppens resultater kan være data for den samlede målgruppes udvikling i de deltagende kommuner gennem perioden, dvs. aggregerede og ikke-personhenførbare data. Derudover skal leverandøren identificere indsatser, hvor det er muligt på CPR-nummer at registrere de børn og unge i målgruppen, der modtager en indsats i regi af PPR i de deltagende kommuner. Leverandøren skal sikre en samlet registrering af oplysningerne, hvor alle lovkrav overholdes, og som kan bruges til at følge børnenes/de unges udvikling via registeranalyser. Ved projektets afslutning skal CPR-data overføres til Socialstyrelsens Ministerieordning ved Danmarks Statistik, hvor CPR-data afidentificeres, med henblik på, at Socialstyrelsen kan foretage opfølgende studier af resultaterne på længere sigt (ud over projektperioden).

Der er ikke tale om en effektevaluering, men om en resultatmåling i form af outcome-ændringer og konsekvenser for målgruppen. Såfremt tilbudsgiver foreslår og argumenterer for en sammenlignende analyse af målgruppens resultater med en eller flere (skygge-)kontrolgrupper, kan dette element benyttes i udformningen af evalueringsdesignet. Der vil i den forbindelse blive lagt vægt på, at sammenligningen er velargumenteret og giver en relevant og fagligt meningsfuld perspektivering af resultaterne uden at påføre de deltagende kommuner unødige byrder med registrering.

Ved fastlæggelse af det endelige design vedrørende nøgleindikatorerne skal disse være ens på tværs af de 10 kommuner4.

Nøgleindikatorerne skal beregnes og afrapporteres ved projektets start, halvvejs og ved projektets afslutning. Med udgangspunkt i nøgleindikatorerne analyseres og formidles her resultaterne af investeringen og udviklingen af den tidlige og forebyggende indsats i PPR med henblik på at opnå viden om, i hvilken udstrækning man har opnået de ønskede resultater. Afrapporteringen af nøgleindikatorerne præsenteres i et overskueligt format, der giver et overblik over resultaterne af indsatsen. Endvidere skal datakilder, definitioner og beregningsprincipper dokumenteres og afrapporteres til Socialstyrelsen.

Leverandør har ansvaret for, at sørge for adgang til alt relevant data – herunder at sikre, at persondataloven overholdes.

4 De endelige indikatorer bør leve op til følgende kvalitetskriterier:

1. De skal være i overensstemmelse med de faglige pejlemærker.

Det kræves, at indikatorerne belyser forhold, der ligger indenfor de faglige pejlemærker for projektet.

2. De skal være aktuelle.

Det kræves, at indikatorerne skal have en tilstrækkelig aktualitet, således at de viser den aktuelle situation.

3. De skal være entydige.

Det kræves, at indikatorerne kun kan fortolkes én vej. Der må således ikke være tvivl om, hvordan fx en stigning i indikatoren skal fortolkes.

4. De skal være need-to-know

Det kræves, at antallet af indikatorer holdes lavt af hensyn til dokumentationsbyrden i kommunerne. Det vil sige, at der kun opgøres indikatorer, der er nødvendige for at kunne belyse de faglige pejlemærker – og ikke alle der kan belyse samme.

35 Alle udgifter forbundet med den samlede opgave vedrørende nøgleindikatorerne, eksempelvis til køb af data, oversættelse eller lign. skal dækkes af nærværende kontrakt.

Det vil sige, at kommunerne ikke vil have udgifter forbundet med denne opgave i projektperioden.

Leverandørs opgave i forbindelse med nøgleindikatorerne omfatter:

- Udvælgelse og udvikling af nøgleindikatorer - Indsamling og behandling af data

- Udarbejdelse og analyse af nøgleindikatorer

- Formidling i form af afrapportering ved projektets start, halvvejs og ved afslutning

Med udgangspunkt i ovenstående skal tilbudsgiver beskrive, hvordan opgaven med at udvælge, udvikle, indsamle, behandle og analysere nøgleindikatorerne tilrettelægges samt hvorledes tilbudsgiver vil sikre, at der som minimum inddrages nøgleindikatorer omhandlende trivsel og henvisning til børne- og ungdomspsykiatrien og så vidt mulig medicinering. Derudover skal tilbudsgiver skitsere, hvordan resultaterne af analysen af nøgleindikatorerne præsenteres og formidles ligesom processen for udformningen af metodenotatet med det endelige evalueringsdesign skal beskrives.

Opsummering af underopgave d

I tilbuddet skal tilbudsgiver særligt have opmærksomhed på følgende:

 Tilbudsgiver skal beskrive, hvordan man vil udvikle og udvælge nøgleindikatorer i samarbejde med Socialstyrelsen og de deltagende kommuner, samt hvordan tilbudsgiver vil sikre indhentning af relevante registerdata og håndtere opgaven med at identificere og håndtere personhenførbare oplysninger i overensstemmelse med lovgivningen.

 Det ønskes, at tilbudsgiver beskriver de temaer, herunder trivsel, henvisning til børne- og ungdomspsykiatrien og så vidt muligt medicinering samt andre relevante temaer, som fx skoleresultater, fravær, etc., som de forventer at kunne lave indikatorer for – herunder de registre, som de vil bruge til temaerne.

Tilbudsgiver bør lægge vægt på at beskrive, hvordan det sikres, at der vil være sigende indikatorer for aldersgruppen 0-6 år, da denne aldersgruppe ikke er særlig godt understøttet af registerdata.

 Redegør for, hvordan tilbudsgiver vil sikre en kvalificeret analyse, vurdering og formidling af resultaterne (borgernære, faglige og organisatoriske) af den styrkede indsats i PPR.

 Redegør for, hvordan tilbudsgiver vil afrapportere og sikre formidling af nøgleindikatorerne i et dokument, der kan læses selvstændigt og som samtidig kan

36 læses i sammenhæng med dokumenterne, der udarbejdes i tilknytning til underopgave e og f. Det endelige format, indhold og formidling besluttes i samarbejde med Socialstyrelsen undervejs i projektet.

e) Økonomisk analyse

Den økonomiske analyse skal tilvejebringe viden om, hvad aktiviteter til udvikling og styrkelse af PPR-indsatsen koster at implementere og drifte. Denne viden vil give andre kommuner et indblik i, hvilke ressourcer de forskellige tiltag kræver, og hvad de koster.

Dette kan brugs som input til beslutninger om evt. igangsættelse af lignende aktiviteter i egen kommune. I den økonomiske analyse ønskes der endvidere en vurdering af de økonomiske konsekvenser ved, at de forventede omkostninger sammenholdes med mulige afledte besparelser på udvalgte områder.

Med udviklingsaktiviteter menes der her indsatser (herunder virksomme metoder), tiltag og metoder, som er velagrænsede og beskrevne.

Leverandørs opgave i forbindelse med den økonomiske analyse omfatter:

- Udvælgelse og afgrænsning - Indsamling af data

- Beregning af omkostninger i SØM

- Sammenligning med mulige afledte økonomiske konsekvenser - Formidling

Udvælgelse og afgrænsning

Der skal laves omkostningsvurderinger for et udvalg af de udviklingsaktiviteter, som kommunernes projekter indeholder. Udviklingsaktiviteterne skal være velafgrænsede, dvs. at det kan defineres, hvilke aktiviteter og ressourceforbrug, der vedrører den konkrete udviklingsaktivitet. Udviklingsaktiviteterne kan vedrøre både behandling, forebyggelse og opsporing samt eventuelt også tiltag rettet mod organisatoriske forhold.

Der kunne eksempelvis være tale om vurdering af omkostningerne ved Cool Kids eller ved et opkvalificeringsforløb for medarbejdere på en skole eller lignende.

Leverandøren skal i samarbejde med Socialstyrelsen og de deltagende kommuner udvælge de udviklingsaktiviteter, man vil lave omkostningsvurderinger for.

Leverandøren har ansvaret for udvælgelsesprocessen samt at lave afgrænsningen af udviklingsaktiviteterne, som skal vurderes. Det er oplagt at udvælge aktiviteter, som beskrives og evalueres nærmere i delopgave f. Det endelige valg af udviklingsaktiviteter, der vil blive omkostningsvurderet, samt afgrænsningerne, skal godkendes af Socialstyrelsen forud for selve det økonomiske analysearbejde.

Indsamling af data

37 Omkostningsvurderingerne skal tage udgangspunkt i de projektspecifikke erfaringer i kommunerne. De skal derfor også basere sig på data og informationer om ressourceforbrug og omkostninger, som skal indsamles hos kommunerne.

I planlægningen af dataindsamlingen skal der lægges vægt på at indhente pålidelige og dækkende data samtidig med, at kommunernes arbejde med tilvejebringelse af data minimeres. Leverandøren skal med udgangspunkt i Socialstyrelsens anbefalinger udarbejde notat med design, plan og kilder for dataindsamlingen, som skal godkendes af Socialstyrelsen..

Vurdering af omkostninger med SØM

Omkostningsvurderingerne skal laves i den Socialøkonomiske investeringsmodel, SØM.

Omkostningsmodulet i SØM, som leverandøren skal anvende, er en beregningsramme, hvor man skal indtaste ressourceforbruget (fx antal timer til forskellige aktiviteter) forbundet med udviklingsaktiviteten, samt tilhørende enhedspriser (fx timeløn + overhead). På basis af dette beregner modellen de samlede omkostninger og omkostninger pr borger, der er modtager indsatsen/ er en del af udviklingsaktiviteten SØM’s omkostningsmodul bygger på Socialstyrelsens tidligere omkostningsmodel og grundlæggende principper for, hvordan en omkostningsvurdering skal laves. Du kan læse mere herom i vejledningerne på denne side:

https://socialstyrelsen.dk/udgivelser/omkostningsvurdering

Du kan endvidere se eksempler på Socialstyrelsens tidligere omkostningsvurderinger på vidensportalen, f.eks. følgende:

https://vidensportal.dk/filer/omkostvurderinger/omkostningsvurdering-pmto-individuel.pdf

https://vidensportal.dk/filer/omkostvurderinger/mst-rapport.pdf

Det er vigtigt at leverandøren laver omkostningsvurderingerne stringent efter Socialstyrelsens principper. Dette omfatter bl.a. følgende forhold:

- At der kun medtages omkostninger til aktiviteter der vedrører selve udviklingsaktiviteten, mens omkostninger, der vedrører deltagelse i dette projekt ikke medregnes. Således vil omkostnings-estimatet afspejle de omkostninger, som en anden kommune kan forventes at have, hvis de vælger at lave udviklingsaktiviteten under de givne forudsætninger.

38 - At man forholder sig til, om der er omkostningsposter, der bortfalder som en naturlig konsekvens af indførelsen af den pågældende udviklingsaktivitet. Hvis dette er tilfældet, skal disse fratrækkes i omkostningsberegningen.

- At man også forholder sig til, om der er ressourceforbrug, der ikke kan kvantificeres og værdisættes. Hvis dette er tilfældet, skal denne del beskrives kvalitativt.

Det skal pointeres, at der med udviklingen af SØM er blevet lavet mindre justeringer i de tidligere principper. Leverandøren skal være indstillet på at anvende de nye principper og den nye model, der først er tilgængelig primo 2018.

Boks 1: Uddybende beskrivelse af SØM

Den Socialøkonomiske investeringsmodel, SØM, er en model, der kan bruges til at vurdere omkostninger og afledte økonomiske konsekvenser for det offentlige, der følger af en social indsats.

SØM består af to dele:

- En beregningsramme, hvori man på basis af de input, som man indtaster, får en samlet opgørelse over indsatsens omkostninger og de afledte økonomiske konsekvenser som følge af indsatsens effekt på borgeren. Omkostninger og afledte økonomiske konsekvenser fordeles over tid og opdeles på aktører (typisk kommune, region og stat).

- En vidensdatabase, der indeholder viden og estimater, som kan bruges som input til beregningen i SØM’s beregningsramme.

SØM modellen er udviklet i excel og kan bruges af alle, der er interesserede heri. Modellen og vejledninger vil kunne hentes fra Socialstyrelsens hjemmeside efter færdiggørelse og offentliggørelsen, forventeligt primo 2018.

Modeludviklingen er finansieret under satspuljen og udvikles af VIVE-Incentive for Socialstyrelsen. I den første version er fokus på voksenområdet. Socialstyrelsen har netop igangsat udvidelsen af SØM til børneområdet, og denne version af modellen ventes færdig medio 2018.

Idet der er tale om et nyt – og for tilbudsgiver endnu ukendt – redskab, der skal anvendes, tilbyder Socialstyrelsen at give leverandøren en halv dags introkursus til modellen, når projektet er igangsat. Herudover vil leverandøren have mulighed for omkostningsfrit at kunne deltage i Socialstyrelsens generelle uddannelsesforløb. Socialstyrelsens medarbejdere vil endvidere stå til rådighed i et rimeligt omfang, såfremt leverandøren har brug for teknisk hjælp til anvendelse af modellen.

Sammenligning med mulige afledte økonomiske konsekvenser

For at afdække proportionerne i de estimerede omkostninger ved udviklingsaktiviteterne, ønskes det, at leverandøren laver en række afgrænsede og hypotetiske analyser af

39 omkostningernes størrelse i forhold til mulige økonomiske konsekvenser afledt af, at børnenes trivsel og livssituation ændres.

For en given udviklingsaktivitet udvælges en eller få mulige afledte konsekvenser af betydning for de offentlige udgifter. Det kan fx være ændring i psykiatrisk behandlinger, anbringelser, specialundervisning eller lignende. De mulige afledte konsekvenser bør afspejle de borgernære mål, som opsættes for omlægningen i forandringsteori og pejlemærker, og endeligt udvælges på baggrund af den udvikling som ses i nøgleindikatorerne beskrevet i delopgave d.

Da der ikke foreligger en egentlig effektmåling, opsættes med udgangspunkt i tolkningen af resultaterne for nøgleindikatorerne et eller flere hypotetiske scenarier for omfanget at den afledte konsekvens, og der laves en beregning af netto-gevinsterne for det offentlige.

Scenarie og beregning kan f.eks. have denne form: ”Hvis udviklingsaktiviteten i gennemsnit resulterer i, at hver 10. af de deltagende børn efterfølgende undgår et psykiatrisk behandlingsforløb, så bliver netto-gevinsterne pr. deltager i gennemsnit xx kr.” Såfremt der foreligger erfaringer for, hvor store ændringer, der kan forventes (enten fra dette eller fra lignende projekter), kan scenarierne tage udgangspunkt heri.

Det vil være muligt at lave disse beregninger direkte i SØM. Modellen vil komme til at indeholde enhedspriser for alle – eller hovedparten – af de relevante typer af konsekvenser. Leverandøren skal derfor udelukkende opstille de hypotetiske scenarier og indtaste de hypotetiske bud på omfanget af konsekvenserne, så laver SØM beregningen.

Det kan dog vise sig nødvendigt at leverandøren justerer i eller tilføjer enkelte enhedspriser til nogle af analyserne.

Både udvælgelsen af de mulige økonomiske konsekvenser, opsætningen af hypotetiske scenarier samt eventuelle justeringer i SØM’s enhedspriser skal godkendes af Socialstyrelsen.

Den sammenlignende analyse kan laves for et udvalg af de udviklingsaktiviteter, der laves omkostningsvurderinger for. Det ønskes at tilbudsgiver angiver, hvor mange udviklingsaktiviteter, man regner med at lave sammenlignende analyser for.

Formidling

Resultaterne af den økonomiske analyse, herunder beregningerne og leverandørens samlede vurdering, skal formidles i et dokument, der kan læses selvstændigt og som samtidig kan læses i sammenhæng med dokumenterne, der udarbejdes i tilknytning til underopgave d og f. Det skal sikres, at formidlingen af materialet er handicaptilgængeligt og designet skal være i overensstemmelse med Socialstyrelsens designmanual.

40 Niveauet og formen skal besluttes i et samarbejde mellem leverandøren og Socialstyrelsen undervejs i projektet. Leverandøren skal dokumentere de data og estimater, der anvendes i den økonomiske analyse (herunder kilder og estimationsprincipper) samt de centrale antagelser, der ligger til grund for analysen.

Denne dokumentation skal kunne anvendes af Socialstyrelsen og evt. også af både deltagende og øvrige kommuner, der ønsker at forstå grundlaget for den økonomiske analyses resultater.

Endvidere skal omkostningsvurderingerne og de sammenlignende analyser leveres som udfyldte versioner af SØM. Efter projektets afslutning vil disse blive stillet til rådighed for andre kommuner, der med udgangspunkt heri kan lave egne beregner tilpasset lokale forhold.

Med udgangspunkt i ovenstående skal tilbudsgiver beskrive, hvordan opgaven med at udvælge udviklingsaktiviteter samt foretage en økonomiske analyse heraf tilrettelægges.

Derudover skal tilbudsgiver skitsere, hvordan resultaterne af den økonomiske analyse præsenteres og formidles. Det skal fremgå af tilbuddet, at tilbudsgiver vil gennemføre den økonomiske evaluering i overensstemmelse med Socialstyrelsens retningslinjer for omkostningsvurderinger og med anvendelse af den Socialøkonomiske investeringsmodel (SØM).

Opsummering af underopgave e

I tilbuddet skal tilbudsgiver særligt have opmærksomhed på følgende:

 Det ønskes, at tilbudsgiver redegør for, hvordan processen for udvælgelse og afgrænsning af udviklingsaktiviteterne vil blive tilrettelagt, herunder eventuelt overvejelser om, hvilke kriterier, der lægges til grund for udvælgelsen.

Tilbudsgiver skal desuden angive, hvor mange forskellige udviklingsaktiviteter, man vil kunne gennemføre analyser for i dette projekt.

 Det ønskes at tilbudsgiver redegør for, hvordan man vil tilvejebringe data til omkostningsvurderingerne, herunder særlige forhold vedr. data, som man vil have fokus på

 Tilbudsgiver bedes beskrive evt. særlige forhold, man vil være opmærksom på i udarbejdelsen af sammenligningen med mulige besparelser og tilkendegive, at man er indstillet på at lave disse analyser i SØM.

41

 Tilbudsgiver bedes redegør for, hvordan afrapporteringen vil foregå og formidles så produktet kan læses selvstændigt og samtidig kan læses i sammenhæng med dokumenterne, der udarbejdes i tilknytning til underopgave d og f.

f) Erfaringsopsamling

I tilbuddet skal tilbudsgiver særligt have opmærksomhed på følgende:

Formålet med erfaringsopsamlingen er, at indsamle og sammenfatte viden og erfaringer fra det tværgående og lokale udviklingsarbejde og relatere det til projektets formål.

Erfaringsopsamlingen skal skabe inspiration og viden til brug for andre kommuner, der fremadrettet ønsker at arbejde med at kvalificere og styrke den tidlige og forebyggende indsats i PPR.

Leverandøren skal udarbejde en systematisk erfaringsopsamling som skal tage afsæt i forandringsteorien og de fælles faglige pejlemærker indenfor rammen af de tre overordnede fokusområder for den tidlige forebyggende indsats i PPR.

Erfaringsopsamlingen skal formidle viden om resultaterne af, hvordan de enkelte kommuner med afsæt i de fælles faglige pejlemærker lokalt har arbejdet med at udvikle og styrke indsatsen i PPR over for sårbare og udsatte børn og unge. I tilknytning hertil skal der opsamles viden og erfaringer om de lokale udviklingsaktiviteter og resultater for de deltagende kommuner. Viden og erfaringer skal opsamles med fokus på at belyse de mest lovende former for aktiviteter til målgruppen i relation til de fælles faglige pejlemærker og formålet med initiativet, således at erfaringsopsamlingen konkret kan bidrage med inspiration til, hvordan man lokalt kan vælge at tilrettelægge et udviklingsarbejde i henhold til pejlemærkerne. Det vil være relevant, der hvor der er tale om udvalgte velafgrænsede udviklingsaktiviteter at integrere erfaringsopsamlingen i den økonomiske analyse (delopgave e).

Såfremt Socialstyrelsen i samarbejde med leverandør vurderer der er basis for det, formuleres konkrete metodebeskrivelser for specifikke indsatser, tiltag og metoder.

Metodebeskrivelserne skal i så fald tage udgangspunkt i dimensionerne i Socialstyrelsens

Metodebeskrivelserne skal i så fald tage udgangspunkt i dimensionerne i Socialstyrelsens