udvikling af sociale indsatser
Revideret udgave maj 2020
Publikationen er udgivet af Socialstyrelsen
Edisonsvej 1 5000 Odense C Tlf: 72 42 37 00
E-mail: info@socialstyrelsen.dk www.socialstyrelsen.dk
Udgivet 28. maj 2020
Download eller se rapporten på www.socialstyrelsen.dk
Der kan frit citeres fra rapporten med angivelse af kilde.
ISBN: 978-8793944-87-9
digital isbn: kontakt isbn@socialstyrelsen.dk
Side 1 af 26
Indhold
Om Drejebogen ... 1
Udvikling af sociale indsatser i Social- og Indenrigsministeriet ... 2
Målet for udviklingsarbejdet ... 2
Fasemodellen – og kriterier for at fortsætte den nationale udvikling af sociale indsatser ... 2
Vidensbaseret udvikling af sociale indsatser ... 4
Faserne i national udvikling af sociale indsatser ... 4
Fase 0: Screeningsfasen ... 5
Screening/Modning ... 8
Fase 1: Modningsfasen ... 8
Modning/Afprøvning ... 12
Fase 2: Afprøvningsfasen ... 12
Afprøvning/Udbredelse ... 16
Fase 3: Udbredelsesfasen ... 16
Hvad er udvikling af sociale indsatser – og hvad er ikke? ... 18
National udvikling af sociale indsatser ... 18
Afgrænsning af national udvikling af sociale indsatser ... 20
Bilag A: Validerede måleredskaber ... 23
Baggrund for listen ... 23
Listens anvendelse, herunder præcisering af evaluators faglige ansvar ... 23
Nettolisten ... 24
Bruttolisten ... 25
Side 1 af 26
Om Drejebogen
Drejebogen er et redskab i Social- og Indenrigsministeriets strategi for udvikling af sociale indsatser. Den første udgave af Drejebogen kom februar 2017. Denne anden og opdaterede udgave er udarbejdet september 2019. Drejebogen indeholder en liste med Validerede måleredskaber til evalueringer på det sociale område (der er vedlagt som Bilag A her i Drejebogen).
Strategien for udvikling af sociale indsatser er udarbejdet af det daværende Børne- og Socialministeriums departement og Socialstyrelsen. VIVE har deltaget i en rådgivende rolle.
Målet med Strategi for udvikling af sociale indsatser er at sikre et målrettet og systematisk udviklingsarbejde og et større afkast af investeringerne på det sociale område ved at udvikle indsatser med dokumenteret effekt, hvor de afsatte ressourcer anvendes effektivt og
hensigtsmæssigt til gavn for de socialt udsatte borgere og for samfundet.
Målet med Drejebogen er at støtte implementeringen af strategien i de initiativer, som hører under strategiens anvendelsesområde. Det sker ved at beskrive, hvordan strategiens mål bør indfries i det konkrete projektarbejde.
Drejebogen beskriver en model i fire faser (screening, modning, afprøvning, udbredelse) for udvikling af sociale indsatser, herudner de mål, som udviklingsarbejdet skal indfri i hver fase.
Drejebogen indeholder de forudsætninger og kriterier, der skal være til stede, for at udviklingen af en social indsats kan bevæge sig fra en fase til en ny fase. Drejebogen beskriver også typiske roller, opgaver, produkter og evaluering, der skal være til stede i et projekt med national udvikling af en social indsats.
Drejebogen er et nyttigt redskab for alle, der arbejder med udvikling af sociale indsatser, ved at beskrive fælles mål og retning for de aktører, der er involveret i udviklingsarbejdet. Drejebogen giver også et fælles sprogbrug i arbejdet, som gør det lettere at samarbejde og at koordinere de konkrete opgaver med at udvikle sociale indsatser.
Drejebogen henvender sig til alle aktører, der arbejder med udvikling af sociale indsatser i konkrete initiativer på Social- og Indenrigsministeriets område.
Drejebogen er ikke et projektplanlægningsværktøj. Socialstyrelsen har en række produkter og retningslinjer for projektarbejde, vidensbaseret arbejde og evaluering, som kan være en støtte i det konkrete arbejde, men som ikke er afgrænset til udvikling af sociale indsatser. Det er f.eks.
Socialstyrelsens Evalueringsguide, Socialstyrelsens Vidensdeklaration, og Socialstyrelsens retningslinjer for Økonomiske analyser af sociale indsatser.
Drejebogen dækker udvikling af sociale indsatser, som er afgrænsede og følger en særlig faglig praksis, der:
• retter sig mod én eller flere specifikke målgrupper eller problemstillinger
• følger en fast systematik eller en kendt faglig praksis
• har en selvstændig faglig identitet, dvs. de kan skelnes fra andre indsatser.
Sociale indsatser kan både være direkte borgerrettede indsatser og indsatser af organisatorisk eller koordinerende karakter.
Side 2 af 26
Udvikling af sociale indsatser i Social- og
Indenrigsministeriet
Målet for udviklingsarbejdet
Hidtidige erfaringer viser, at der er behov for en mere systematisk tilgang til udviklingsarbejdet på socialområdet. For en stor andel af arbejdet med at udvikle og udbrede nye indsatser er tidligere sket via forskellige enkeltstående initiativer, som ikke har været systematisk koordineret. Der har således der ikke i tilstrækkelig grad været tale om et fortløbende
udviklingsarbejde, hvor nye udviklingsprojekter bygger oven på og videreudvikler erfaringerne fra tidligere initiativer.
I nogle tilfælde er man straks gået i gang med at udbrede en indsats, fordi den har vist lovende resultater lokalt eller i udlandet. I andre tilfælde er man gået direkte til afprøvning i stor skala uden forinden at have sikret sig, at indsatsen er modnet og tilpasset en dansk kontekst. Der er også eksempler på arbejde med modning, afprøvning og udbredelse på samme tid uden, at det har været klart, hvilken fase man er i.
Det kan være fristende straks at afprøve og udbrede en indsats, som man tror på virker. Men det kan vise sig at være en omvej i bestræbelserne på at få indsatsen ud at virke i praksis.
Udviklingsarbejdet vil i mange tilfælde støde på store udfordringer, hvis det ikke er ordentligt forberedt, og der er risiko for ressourcespild.
Målet er, at Strategi for udvikling af sociale indsatser skal sikre et større afkast af
investeringerne på det sociale område ved at udvikle indsatser med dokumenteret effekt. De sociale indsatser, som har potentialet, skal med strategien udvikles til at have dokumenteret effekt og udbredes. De sociale indsatser, som ikke har potentialet, skal stoppes så tidligt som muligt, så der ikke bruges ressourcer unødigt.
Fasemodellen – og kriterier for at fortsætte den nationale udvikling af sociale indsatser
Udvikling af sociale indsatser under Social- og Indenrigsministeriet skal følge en fasemodel, som beskrevet i Figur 1.
Side 3 af 26 Figur 1
Fasemodellen i Social- og Indenrigsministeriets strategi for udvikling af sociale indsatser
Fasemodellen består af fire faser: Screeningsfasen, modningsfasen, afprøvningsfasen og udbredelsesfasen.
National udvikling af sociale indsatser indledes med en screening af, om forudsætningerne for et succesfuldt udviklingsarbejde er til stede.
Ud fra tydelige kriterier skal der træffes beslutning på et kvalificeret grundlag om, hvorvidt udviklingsarbejdet kan fortsætte i næste fase – eller om der på baggrund af de foreløbige erfaringer i udviklingsarbejdet er behov for at forlænge en fase eller gøre den om eller eventuelt helt at opgive indsatsen.
Det kan fx komme på tale at indstille udviklingsarbejdet, hvis det viser sig, at indsatsen ikke realistisk kan forankres i driften, eller hvis indsatsen giver dårlige resultater eller har væsentlige negative afledte effekter for borgerne.
Fasemodellen beskriver et generelt ideal for udviklingen af sociale indsatser. Der vil være en række situationer, hvor det er muligt at springe en eller flere faser over ud fra en konkret vurdering. Generelt gør det sig gældende, at hvis kriterierne i øvrigt er opfyldt, kan udviklingen fortsætte i den relevante fase.
Det skal understreges, at beslutningen om at fortsætte, omgøre eller standse et udviklingsforløb altid skal ske efter en konkret vurdering ud fra ’følg eller forklar’- princippet. I de tilfælde, hvor der er et ønske om at fortsætte en udvikling, selvom kriterierne ikke er opfyldt, gælder det, at kriterierne kun kan afviges ud fra tungtvejende hensyn af politisk, faglig eller praktisk karakter.
Der kan også være tilfælde, hvor metodeudviklingen nedprioriteres, selvom kriterierne egentlig er opfyldt for at gå videre, på grund af ressourcemangel.
Side 4 af 26
Vidensbaseret udvikling af sociale indsatser
Udviklingen af sociale indsatser skal fremadrettet ske med klart afsæt i et fortløbende vidensbaseret arbejde, hvor der til stadighed bygges oven på eksisterende viden om den indsats, der arbejdes med.
I Drejebogen er opstillet krav til, hvordan udviklingsarbejdet underbygges af viden og hvilken viden, der skal skabes på forskellige trin i udviklingen.
I Strategi for udvikling af sociale indsatser fremmes et øget brug af fælles, validerede redskaber til måling af outcome. Det skyldes et ønske om at løfte kvaliteten i de evalueringer og
effektmålinger, der gennemføres.
En mere ensartet anvendelse af måleredskaber i det vidensbaserede udviklingsarbejde styrker mulighederne for at sammenligne effekter på tværs af indsatser og giver bedre grundlag for økonomiske evalueringer af indsatsen.
Socialstyrelsens har tidligere udarbejdet en liste over validerede redskaber. Den er nu revideret og opdateret, så der nu for hver hovedmålgruppe på det sociale område er en nettoliste og en bruttoliste af validerede måleredskaber, jf. bilag A.
Nettolisten er de instrumenter til måling af outcome, som skal anvendes i de relevante evalueringer med mindre væsentlige faglige eller etiske hensyn taler imod det.
Bruttolisten er de redskaber, det anbefales at anvende, hvor det er relevant.
En systematisk vidensopbygning i udviklingsarbejdet skal sikre, at der er et tilstrækkeligt vidensbaseret grundlag for at træffe beslutning om, hvorvidt udviklingsarbejdet skal fortsætte i næstfølgende fase eller ej.
Kriterierne for at iværksætte en ny fase i fasemodellen knytter sig med andre ord eksplicit til det vidensgrundlag, der skal opbygges.
Faserne i national udvikling af sociale indsatser
I alle udviklingsprojekter bør det tilstræbes at arbejde ud fra fasemodellen. Hvis det er
nødvendigt at afvige fra modellens principper, skal der argumenteres klart for årsagen. Det kan være tungtvejende hensyn af politisk, faglig eller praktisk karakter.
Gennemgangen af Fasemodellen følger denne skabelon:
Side 5 af 26 Figur 2
Overskrifterne i Drejebogens gennemgang af faserne i fasemodellen
Fase 0: Screeningsfasen
Screeningsfasen kan variere i omfang alt efter, om der er tale om udvikling af en helt ny indsats på baggrund af et smalt vidensgrundlag eller videreudvikling af en indsats fra dansk eller udenlandsk praksis funderet på et bredere videns- og erfaringsgrundlag.
Fasen varer op til 9 måneder.
Formål med screeningsfasen
Formålet med screeningsfasen er at sikre, at der kun iværksættes national udvikling af sociale indsatser, som har realistiske forudsætninger for at blive til virksomme sociale indsatser – og at indsatserne realistisk vil blive forankret i drift i et større antal kommuner.
Roller og opgaver
Socialstyrelsen: Fasens leverancer og vidensudvikling skal sikre det nødvendige grundlag for at vurdere, om forudsætningerne for et succesfuldt udviklingsarbejde i de efterfølgende faser er til stede. Samtidig skal leverancerne sikre et kvalificeret grundlag at indlede næste fase af udviklingsarbejdet på.
Det er Socialstyrelsens opgave at planlægge screeningsfasen. I nogle tilfælde vil
Socialstyrelsen udbyde dele af screeningsopgaven til en ekstern leverandør; i andre tilfælde kan Socialstyrelsen selv løse opgaven.
De typiske opgaver er:
• At definere det sociale problem, som skal løses
• At etablere et vidensgrundlag for at vurdere den sociale indsats op mod fasens kriterier
• At udarbejde en indledende eller foreløbig indsatsbeskrivelse, dvs. præcisere en grundlæggende model for indsatsen
Kommunerne / De sociale tilbud: Det er vigtigt i screeningsfasen at skabe klarhed over
efterspørgslen efter indsatsen i kommunerne eller i de sociale tilbud med henblik på at vurdere den realistiske forankring og drift. Denne afklaring kan ske i dialog via eksisterende mødefora, eller der gennemføres en egentlig undersøgelse af kommunernes eller de sociale tilbuds efterspørgsel – fx i form af en spørgeskemaundersøgelse.
Side 6 af 26 Leverandører: Det skal i screeningsfasen afklares, om der er behov for metodeleverandører og/eller kompetenceudviklingsleverandører for at kunne udvikle og drifte den sociale indsats, herunder om der reelt er leverandører, som potentielt ønsker og har kompetencerne til at drifte indsatsen efter en succesfuld modning og afprøvning.
Leverandørerne skal i fasen bidrage til den nødvendige afklaring. Leverandørerne kan også bidrage til eller have til ansvar at udarbejde en indledende beskrivelse af den sociale indsats, herunder elementer i et kompetenceudviklingsprogram. Det kan være gavnligt eller nødvendigt at inddrage faglige eksperter i definitionen og beskrivelsen af den indsats, som screenes.
Forskere og konsulenthuse: Forskere og konsulenthuse kan i screeningsfasen indhente og/eller systematisere det nødvendige vidensgrundlag for at opfylde fasens formål. Ofte er en væsentlig opgave at gennemføre en afsøgning af allerede eksisterende viden. Forskerne/konsulenterne kan også indgå i arbejdet med at beskrive grundelementerne i den sociale indsats, herunder en foreløbig forandringsteori. Endelig kan de have til opgave at afdække efterspørgslen efter den planlagte sociale indsats.
Typiske leverancer
De typiske leverancer i screeningsfasen, som skal bidrage til at opfylde fasens formål vil typisk være:
1. En screeningsrapport med eksisterende viden om målgruppen, en behovsanalyse og en afdækning af en eller flere sociale indsatser til senere modning, afprøvning og/eller udbredelse.
2. En indledende indsatsbeskrivelse/modeldannelse 3. En vurdering af efterspørgsel
4. En vurdering af om kriterierne for at iværksætte en ny fase, typisk modningsfasen, er til stede (’SUSI-vurdering’)
Screeningsrapport: En screening af eksisterende viden om den indsats, som skal udvikles, herunder eventuelt en afdækning af udbredelsen af det sociale problem, som indsatsen retter sig mod, og målgruppens karakter og omfang. Screeningsrapporten kan belyse udbredelsen og anvendelsen i det kommunale landskab af én eller flere sociale indsatser for et givet socialt problem/en given målgruppe. Screeningsrapporten skal give beslutningstagere mulighed for at vurdere grundlaget for videre udvikling af den sociale indsats.
Indledende indsatsbeskrivelse: I screeningsfasen skal der udarbejdes en indledende indsatsbeskrivelse. Indsatsbeskrivelsen skal sikre klarhed over den model, som de
efterfølgende faser i udviklingsarbejdet skal modne, afprøve og udbrede i form af en færdig og effektiv social indsats. Den indledende indsatsbeskrivelse skal kunne anvendes i forbindelse med puljeudmeldinger og udbud i de efterfølgende faser.
En vurdering af efterspørgsel: Screeningsfasen skal indeholde et notat el.lign., som vurderer efterspørgslen efter den sociale indsats i kommunerne eller blandt de sociale tilbud, som vil skulle drifte indsatsen fremadrettet. Vurderingen kan indgå i screeningsrapporten.
Vurdering af kriterierne for at iværksætte en ny fase (’SUSI-vurdering’): Screeningsfasen skal afsluttes med en ’SUSI-vurdering’ af, hvorvidt kriterierne for at iværksætte en ny fase i udviklingsarbejdet (typisk modningsfasen) er opfyldt. Der er tale om Socialstyrelsens faglige vurdering og indstilling. Vurderingen er væsentlig, fordi det er hovedformålet med
screeningsfasen at sikre, at der kun iværksættes yderligere udviklingsarbejde for sociale indsatser, der har potentiale til (omkostnings-)effektivt at løse det sociale problem, indsatsen retter sig mod, og som har et realistisk udbredelsessigte.
Side 7 af 26 Udvikling af viden i screeningsfasen
Formålet med vidensarbejdet i screeningsfasen er at sikre, at der kun sættes udviklingsarbejde i gang, som har en høj sandsynlighed for at blive en succes i form af en senere udbredelse af en indsats med veldokumenteret effekt.
Det sker i screeningsfasen ved at tilvejebringe viden om:
• Det sociale problem, som indsatsen skal løse eller afhjælpe. En behovsanalyse.
• Den sociale indsats, som skal modnes og afprøves
• Forudsætningerne for en succesfuld modning, afprøvning og/eller udbredelse af den sociale indsats, herunder logisk tjek af forandringsteorien og indsatsens omkostninger
• Efterspørgslen efter og driftsstrategien bag den sociale indsats
I screeningsfasen skal det analyseres og afklares, hvilket socialt problem eller behov, indsatsen skal løse eller afhjælpe. Det indebærer en præcisering af formålet samt en afklaring af
realistiske resultater på borgerniveau og eventuelt forventede organisatoriske eller faglige resultater. Det kan også være relevant at undersøge målgruppens omfang og karakter, herunder om der i det videre udviklingsarbejde bør skelnes mellem forskellige målgrupper for indsatsen
I screeningsfasen skal det defineres og afklares, hvilken social indsats, der skal udvikles. Som oftest vil udviklingsarbejdet fortsætte i en modningsfase, hvor indsatsen udvikles og præciseres yderligere, men det er vigtigt i screeningsfasen at have en grundlæggende model for den sociale indsats, fordi det er forudsætningen for at vurdere indsatsens vidensgrundlag og potentiale. Samtidig er det en forudsætning for det indledende arbejde i de senere faser af udviklingsarbejdet, at det klart kan kommunikeres til projektets interessenter og
samarbejdsparter, hvilken indsats der skal udvikles.
I screeningsfasen skal forudsætningerne for en succesfuld modning, afprøvning og udbredelse undersøges. Det indebærer bl.a. et logisk tjek forandringsteorien og af de ressourcer, som det vil kræve at udvikle og drifte den sociale indsats. Der skal være et rimeligt forhold mellem omkostningerne og de forventede resultater for borgerne og for samfundet. Så vidt muligt afklares det, om forudsætningerne for at gennemføre en effektevaluering i afprøvningsfasen er til stede.
Endelig skal det i screeningsafsen afklares, om der overhovedet er en efterspørgsel efter den sociale indsats i de kommuner eller blandt de sociale tilbud, hvor indsatsen vil skulle udbredes.
Heri indgår også, om der er en realistisk driftsstrategi for den sociale indsats.
Kriterier for at fortsætte til modningsfasen
Følgende kriterier skal være opfyldt, førend modningsfasen igangsættes:
Side 8 af 26
Screening/Modning
Kriterier:
• •
•
Indsatsen er realistisk i både afprøvning og drift
•
•
•
•
•
Fase 1: Modningsfasen
Modningsfasen vil variere i tid alt efter, om der er tale om udvikling af en helt ny indsats, videreudvikling af en dansk lovende praksis eller tilpasning af en udenlandsk indsats. Særligt i førstnævnte tilfælde vil det være nødvendigt med en længere modningsfase, hvor indsatsen udvikles, pilottestes og justeres fortløbende, indtil grundlaget for en egentlig afprøvning er til stede.
Modningsfasen vil typisk tage mellem halvandet og fire år.
Formål med modningsfasen
Formålet med modningsfasen er at udvikle indsatsen til et niveau, hvor den er klar til at blive systematisk afprøvet. Såfremt der er tale om udvikling af en ny indsats fra grunden udvikles indsatsen i modningsfasen fra at være en idé eller løst defineret indsats til at være klart defineret. Indsatsen afprøves og pilottestes i et udviklende og fortsat lærende miljø. Indsatsen skal vise lovende resultater, før modningsfasen er succesfuldt afsluttet.
Roller og opgaver
Størstedelen af arbejdet i modningsfasen ligger ikke i udviklingen af de konkrete leverancer (produkter), men i den udviklingsproces, som skal muliggøre leverancerne.
Side 9 af 26 Fasen fordrer derfor et tæt samarbejde mellem projektejer, metodeleverandør/- udvikler,
deltagende kommuner eller andre socialfaglige aktører (fx sociale tilbud) samt evaluator. Viden, faglige synspunkter, etiske overvejelser og fortsat målstyring bør løbende bringes i spil i et samarbejde mellem de deltagende aktører.
Socialstyrelsen: Det vil ofte være Socialstyrelsen, der har det administrative ansvar for
udviklingsarbejdet og derfor optræder som ’projektejer’. Opgaven er primært at sikre rammerne for et godt samarbejde mellem projektdeltagerne i den komplicerede modningsproces, hvor der fortløbende skal træffes beslutninger om justering og tilpasning af indsatsen på baggrund af de foreløbige erfaringer, samt at holde fokus på projektets og fasens mål. Socialstyrelsen sikrer relevante input af viden fra andre initiativer og fra styrelsens øvrige ressourcer som national, koordinerende vidensfunktion på det sociale område.
Kommunerne / De sociale tilbud: De kommuner/sociale tilbud, der deltager i projektmodningen, skal være klar til at bevæge sig ind i det eksperimenterende rum, som fasen består i, Det vil være uklart på forhånd, hvordan den endelige indsats kommer til at se ud. Det er vigtigt, at kommunernes/de sociale tilbuds deltagelse i projektet har ledelsesmæssig opbakning og forankring.
Det kræver af de deltagende kommuner/tilbud, at de investerer tid og ressourcer i at være medudviklere af indsatsen. Det kræver også en forståelse af, at der i det samlede projekt træffes fælles beslutninger, som er bindende for, hvordan man i den enkelte kommune/på det enkelte tilbud skal arbejde med indsatsen. Der vil også skulle foregå en del dokumentation og evaluering, som kommunen/tilbuddet forventes at deltage i – bl.a. ift. dataindsamling blandt borgere og medarbejdere.
Kommunerne/tilbuddene skal derfor være parate til at arbejde tæt og forpligtende sammen med de øvrige projektdeltagere.
Leverandører: I nogle vil der i modningsfasen være tilknyttet en metodeleverandør – enten som faglig ’ekspert’ og ’facilitator’ i udviklingen, eller fordi indsatsen kræver en driftsorganisation uafhængigt af den normale tilbudsvifte. I andre tilfælde kan Socialstyrelsen udfylde disse roller helt eller delvist alene.
Metodeleverandøren vil typisk have en væsentlig rolle som faglig aktør i udviklingen bl.a. ift. at foreslå og implementere de justeringer og tilpasninger af indsatsen, som viser sig nødvendige.
Såfremt uddannelse eller kompetenceudvikling er påkrævet, vil det i nogle tilfælde være metodeleverandøren, der står for udviklingen af denne. I andre tilfælde vil der blive tilknyttet en selvstændig uddannelsesleverandør, fx en af professionshøjskolerne.
Metodeleverandøren(-erne) skal kunne arbejde tæt sammen med de øvrige projektdeltagere og have forståelse for ’at få enderne til at mødes’. Leverandøren skal udarbejde
indsatsbeskrivelsen (se mere om indsatsbeskrivelsen i afsnittet om fasens leverancer nedenfor) i en sådan form, at andre leverandører vil kunne videreføre indsatsen.
Forskere og konsulenthuse: Der vil ofte blive tilknyttet forskere eller konsulenthuse til at arbejde særskilt med vidensudviklingen. Det drejer sig om systematisk evaluering og erfaringsopsamling fra modningsprocessen – og i nogle tilfælde om gennemførsel af supplerende analyser eller litteratursøgninger.
Evalueringsviden i modningsfasen skal bringes løbende i spil på faglige udviklingsmøder og lignende. Det er evaluators opgave at udvikle et fagligt velbegrundet evalueringsdesign, der passer til fasens videns- og evalueringsbehov, og som kan gennemføres på en god måde i samarbejde med de øvrige projektdeltagere.
Side 10 af 26 Evalueringen skal kunne udgøre et væsentligt grundlag for vurderingen af, om kriterierne for at iværksætte afprøvningsfasen er opfyldt (se kriterierne nedenfor). Derudover skal evaluator rådgive Social- og Indenrigsministeriet (Socialstyrelsen) om mulige evalueringsdesigns for afprøvningsfasen.
De tilknyttede forskere/konsulenthuse har ansvaret for, at data- og erfaringsindsamling foregår etisk forsvarligt.
Typiske leverancer
Modningsfasen har følgende typiske leverancer:
1. Indsatsbeskrivelse, inklusiv forandringsteori
2. Notat om effektmålingsdesign for afprøvningsfasen, herunder identifikation af validerede måleredskaber til outcomemåling
3. Eventuelt udvikling af uddannelses-/ kompetenceudviklingsprogram 4. Evalueringsrapport med foreløbige resultater og implementeringserfaringer 5. Omkostningsvurdering og eventuel beregning i den Socialøkonomiske
investeringsmodel (SØM) 6. Vurdering af efterspørgsel
7. En vurdering af om kriterierne for at iværksætte en ny fase, typisk afprøvningsfasen, er til stede (’SUSI-vurdering’)
Indsatsbeskrivelsen indeholder en forandringsteori begrundet i teori og/eller faglige
forventninger til indsatsen. Derudover indeholder indsatsbeskrivelsen en relevant beskrivelse af indsatsens gennemførelse, hvoraf fremgår faste og variable elementer i indsatsen (og
eventuelle fidelitetskriterier). Indsatsbeskrivelsen indeholder også en definition af nødvendige forudsætninger for indsatsen, herunder kompetencer, redskaber og teknologi, fysiske rammer, parallelle indsatser for borgeren mv. Samlet set skal indsatsbeskrivelsen have en sådan form, at andre leverandører, kommuner og sociale tilbud vil kunne arbejde videre efter samme systematik og metode. Det er vigtigt af både faglige og udbudsretlige hensyn.
I løbet af modningsfasen identificeres (og testes) de validerede måleredskaber, som skal anvendes i den efterfølgende afprøvning af indsatsen. Man skal være opmærksom på ministeriets retningslinjer for at vælge instrumenter til outcomemål i udvikling af sociale indsatser (se Bilag A). Formålet med disse retningslinjer er at sikre mere sammenlignelige effektdata på det sociale område. Eventuelle screenings- og udredningsværktøjer, der kan/skal støtte indsatsen, identificeres og testes.
Modningsfasen afsluttes med, at der med afsæt i erfaringer og viden fra modningsfasen udarbejdes et effektmålingsdesign for afprøvningsfasen. Formålet med notatet er at sikre, at relevant viden fra modningsfasen anvendes i evalueringsdesignet for afprøvningsfasen. Der er mange eksempler på fejlslagne effektevalueringer, som kunne være undgået med et bedre forberedt evalueringsdesign baseret på viden om de reelle forhold i indsatsen, herunder det realistiske antal borgere i målgruppen afhængigt af forskel i kommunestørrelser.
Såfremt indsatsen forudsætter særlig uddannelse eller kompetenceudvikling, skal der i modningsfasen udvikles et uddannelsesprogram. Uddannelsesprogrammet skal ved
modningsfasens afslutning have en sådan form, at det kan videreføres af andre leverandører end den, der har udviklet programmet. Dette er vigtigt af både faglige og udbudsretlige hensyn.
Fasen afsluttes med en evalueringsrapport (eller andet relevant evalueringsprodukt), der samler op på indsatsens foreløbige resultater og væsentlige implementeringserfaringer.
Evalueringsrapporten skal give beslutningstagere mulighed for at vurdere grundlaget for at afprøve indsatsen, og rapporten skal give Socialstyrelsen og interessenter på området viden om og indsigt i den færdigmodnede indsats.
Side 11 af 26 Evalueringsrapporten skal indeholde eller vedlægges en omkostningsvurdering, som viser hvad det koster at iværksætte og drifte den modnede indsats.
Omkostningsvurderingen skal følge Socialstyrelsens retningslinjer for økonomisk evaluering1. Såfremt det er muligt og relevant gennemføres en investeringsberegning i den
Socialøkonomiske investeringsmodel (SØM).
I evalueringsrapporten eller som selvstændigt notat skal indgå en vurdering af efterspørgslen efter indsatsen i den form, den er modnet og udviklet til.
Modningsfasen afsluttes med en vurdering af kriterierne for at iværksætte afprøvningsfasen (en
’SUSI-vurdering’). Der er tale om Socialstyrelsens faglige vurdering og indstilling.
Udvikling af viden i modningsfasen
Vidensudviklingen i modningsfasen sker gennem systematisk opsamling af erfaringerne i det konkrete udviklingsarbejde. Formålet med vidensarbejdet er helt
overordnet at sikre, at indsatsen er tilstrækkeligt udviklet og belyst til, at en egentlig undersøgelse af indsatsens effekt kan sættes i gang.
I modningsfasen udvikles viden om alle fem dimensioner i Socialstyrelsens Vidensdeklaration:
• Viden om målgruppen
• Viden om indsatsen
• Viden om implementering
• Viden om resultater (effektviden)
• Viden om økonomi
Ved fasens afslutning skal der være dybdegående viden om de tre første dimensioner, mens der skal være begyndende viden om resultater (effektviden) og økonomi.
Der tilknyttes typisk en ekstern evaluator – særlige omstændigheder kan dog tale for, at evalueringen sker på anden vis, fx internt hos de aktører, der afprøver indsatsen (fx i
Socialstyrelsen eller hos metodeleverandøren). Se eventuelt Socialstyrelsens EvalueringsGuide for gode råd til den beslutning.
Det anbefales at udvælge og tilknytte en evaluator meget tidligt i modningsfasen med henblik på at sikre en tæt integration af evalueringsdesign og projektdesign.
Evalueringen i modningsfasen er primært formativ med henblik på at understøtte læring og den fortløbende udvikling og tilpasning af indsatsen. Evalueringsrapporten indeholder dog en summativ vurdering af indsatsens potentiale baseret på foreløbige resultater,
implementeringserfaringer og viden om omkostningerne.
Kriterier for at fortsætte til afprøvningsfasen
Følgende kriterier skal være opfyldt, førend afprøvningsfasen igangsættes:
1 https://socialstyrelsen.dk/tvaergaende-omrader/socialstyrelsens-viden/okonomi-og-omkostninger
Side 12 af 26
Modning/Afprøvning
Kriterier:
Indsatsen er færdigudviklet og defineret
• Der er udviklet en klar og teoretisk velbegrundet forandringsteori for indsatsen (en logisk sammenhængende beskrivelse af sammenhængen mellem de gennemførte aktiviteter og de resultater, man vil opnå for borgerne)
• Der er udviklet en klar indsatsbeskrivelse, herunder skelnen mellem faste og variable elementer i indsatsen, således at det fremover klart kan afgrænses, hvornår man hhv. arbejder eller ikke arbejder efter indsatsen (bl.a. vigtigt i effektmålingen i fase 2)
Indsatsen er succesfuldt implementeret
• Det er på baggrund af pilotafprøvningen klart, at indsatsen - eventuelt under visse betingelser - kan fungere i en dansk (typisk kommunal) sammenhæng.
• Det er muligt at tilvejebringe de nødvendige betingelser for god implementering i de kommuner eller leverandører, der skal afprøve indsatsen i fase 2
• Indsatsen vurderes fortsat at kunne være fagligt og organisatorisk bæredygtig i fase 3
Indsatsen har lovende resultater
• De foreløbige resultater for borgerne i pilotafprøvningen er lovende og kan retfærdiggøre en egentlig effektmåling i fase 2
• Kommunerne finder på baggrund af piloterfaringerne fortsat indsatsen interessant Indsatsen er ikke urealistisk dyr
• Det er klarlagt hvilke ressourcer, indsatsen kræver (kompetencer, tid, redskaber og fysiske rammer etc.)
• Der er et rimeligt forhold mellem ressourcer og forventede resultater
Fase 2: Afprøvningsfasen
Afprøvningsfasen kan variere i længde alt efter vilkårene for evalueringen af indsatsens effekt – herunder antallet og flowet af borgere, der modtager indsatsen; over hvor lang tid man skal måle indsatsens effekter; samt muligheden for særlige evalueringsdesigns, fx trinvis implementering etc.
Afprøvningsfasen kan variere mellem 2 og 5 år. Det vil ofte være relevant at gennemføre opfølgende registerstudier af langtidseffekterne. Det kan være mellem 1 og 10 år efter projektafslutning afhængig af effektmålene.
Formål med afprøvningsfasen
Formålet med afprøvningsfasen er at afprøve den modnede indsats under kontrollerede forhold med henblik på at undersøge, om indsatsen virker i den form, den har fået. Fasen kan også bidrage med væsentlig ny viden om målgruppen, implementeringsforhold, økonomi og eventuelle bi-effekter, men der kan ikke ske en væsentlig ændring af indsatsbeskrivelsen.
Afprøvningsfasen er egnet for direkte borgerrettede sociale indsatser. For sociale indsatser af organisatorisk eller koordinerende karakter, vil det ofte være vanskeligt at gennemføre en
Side 13 af 26 effektevaluering af høj kvalitet. For sådanne sociale indsatser foretages en afvejning af den viden, en afprøvningsfase kan give, op mod de ressourcer, det kræver at gennemføre afprøvningen.
Roller og opgaver
Afprøvningsfasen har en klarere systematik og rollefordeling end modningsfasen, fordi indsatsen er (stort set) udviklet. Men afprøvningen vil ofte være vanskelig at gennemføre med høj kvalitet, så der kræves stadig et tæt samarbejde mellem projektdeltagerne.
Socialstyrelsen: Det vil ofte være Socialstyrelsen, der har ansvaret for afprøvningen og derfor optræder som ’projektejer’ med det generelle ansvar for, at afprøvningen forløber
hensigtsmæssigt.
Opgaven er i høj grad at koordinere afprøvningen og sikre opfyldelsen af de mål, der er for projektet og for fasen. Det indebærer bl.a. at udbyde evalueringsopgaven,
metodeleverandøropgaven samt at få etableret et godt samarbejde med de kommuner/sociale tilbud, der skal deltage i afprøvningen – herunder at etablere klare aftaler om vilkårene for afprøvningen.
Kommunerne / De sociale tilbud: De kommuner/sociale tilbud, der deltager i afprøvningen, skal forpligte sig på at afprøve indsatsen i den form, den er udviklet, samt at bidrage til evalueringen med det evalueringsdesign, der er valgt.
Samtidig bør kommunerne/tilbuddene allerede ved fasens opstart have gjort sig overvejelser om den forventede forankring af indsatsen, såfremt den viser sig virksom og
omkostningseffektiv. Gevinsten for de deltagende kommuner/tilbud vil dels være adgangen til og erfaringerne med den ny og forventeligt omkostningseffektive indsats, der potentielt gør kommunen/tilbuddet standardsættende på området til gavn for borgerne. Dels vil der ofte indgå kompetenceudvikling af medarbejdere og/eller økonomisk kompensation for de ekstraopgaver, kommunerne/tilbuddene påtager sig ift. dokumentation, administration og samarbejde mv.
Leverandører: Såfremt der er tilknyttet en metodeleverandør, skal leverandøren forpligte sig på at afprøve indsatsen i den form, det er aftalt, samt bidrage til dokumentationsopgaven i
evalueringen. Leverandøren bliver betalt for sin indsats.
Forskere og konsulenthuse: Forskere eller konsulenthuse har typisk en meget væsentlig rolle i afprøvningsfasen ift. at gennemføre evalueringen og indsamle den nødvendige viden forud for en eventuel udbredelse af indsatsen.
Evaluator skal levere et begrundet evalueringsdesign, der passer til omstændighederne for afprøvningen, og som anvender de validerede måleredskaber, der er identificeret i
modningsfasen. Man skal være opmærksom på ministeriets retningslinjer for at vælge redskaber til outcomemål i udvikling af sociale indsatser (se Bilag A).
Evaluator skal kunne samarbejde med de deltagende kommuner/tilbud og metodeleverandøren om en dataindsamling med høj kvalitet, der er realistisk og ikke unødigt belastende for disse.
Det stiller store krav til evaluators evne til at informere og vejlede kommunernes/tilbuddenes og metodeleverandørens medarbejdere.
Typiske leverancer
Typiske leverancer i afprøvningsfasen er:
• Evalueringsrapport med fokus på effekt
• Økonomisk evaluering
• Justering af indsatsbeskrivelse og kompetenceudviklingsprogram
Side 14 af 26
• Vurdering af efterspørgsel: En vurdering af om kriterierne for at iværksætte udbredelsesfasen er til stede (’SUSI-vurdering’)
Fasen vil typisk blive afsluttet med en evalueringsrapport, der kan danne grundlag for en informeret beslutning om, hvorvidt indsatsen er klar til udbredelse.
Evalueringsrapporten dokumenterer eller sandsynliggør, at der er en positiv effekt af indsatsen for borgerne uden væsentlige, negative bi-effekter og indeholder en databaseret vurdering af, under hvilke forhold indsatsen kan implementeres efter hensigten. Evalueringsrapporten tydeliggør hvilket grundlag, evalueringen hviler på. Relevant data, herunder særligt CPR- nummer på de borgere, der har deltaget i afprøvningen, overdrages til Social- og Indenrigsministeriet eller Socialstyrelsen med henblik på opfølgende effektstudier.
Personfølsomme data behandles efter lovgivningens2 og ministeriets retningslinjer.
Der skal i forbindelse med evalueringen gennemføres en økonomisk evaluering. Den økonomiske evaluering indgår typisk i evalueringsrapporten, men kan også formidles
selvstændigt. Den gennemføres efter Socialstyrelsens retningslinjer for økonomisk evaluering.
Der skal som hovedregel gennemføres en beregning i den Socialøkonomiske
investeringsmodel (SØM). Der kan dog være indsatser og evalueringsdesigns, som ikke egner sig til en investeringsberegning.
Såfremt afprøvningen giver anledning til det, justeres indsatsbeskrivelsen og et eventuelt kompetenceudviklingsprogram fra modningsfasen.
Der skal foretages en vurdering af, om der på baggrund af effektafprøvningen og den
økonomiske evaluering er efterspørgsel efter indsatsen blandt de kommuner eller sociale tilbud, som skal drifte indsatsen. Vurderingen kan indgå i evalueringsrapporten.
På baggrund af afprøvningen gennemføres en vurdering af, om kriterierne for at udbrede indsatsen er opfyldt (’SUSI-vurdering’). Vurderingen skal kunne informere beslutningstagere om, i hvilken udstrækning kriterierne for udbredelse er opfyldt.
Udvikling af viden i afprøvningsfasen
Formålet med vidensudviklingen i afprøvningsfasen er overordnet at dokumentere indsatsens effekt forud for en eventuel udbredelse.
I afprøvningsfasen er det særligt vigtigt at få viden om, hvorvidt indsatsen virker i den form, den har fået, og under hvilke omstændigheder den kan implementeres – samt om indsatsen er omkostningseffektiv.
Der skal opnås viden om, hvorvidt indsatsen virker i forhold til at løse eller minimere konsekvenserne af det sociale problem, den er møntet på. Der bør også opnås viden om, hvorvidt indsatsen er bedre eller mere omkostningseffektiv end eksisterende alternativer, samt om der er eventuelle bi-effekter af indsatsen og/eller om der er forhold ved indsatsen, som møder modstand hos borgerne, deres pårørende eller i kommunen/på det sociale tilbud.
Der tilknyttes typisk en ekstern evaluator. Evalueringen er primært summativ.
2 I skrivende stund: Lov nr. 429 af 31. maj 2000 senest revideret ved Lov nr. 639 af 12. juni 2013 samt sikkerhedsbekendtgørelsen (BEK nr. 528 af 15. juni 2000).
Side 15 af 26 Evalueringen er en effektmåling, der kan gennemføres som effektstudium eller som en
virkningsevaluering (teoribaseret evaluering), der med en procesorienteret forståelse af effektbegrebet sandsynliggør, om indsatsen er effektiv. Det vil typisk være evaluator, der i et tilbud begrunder sin opfattelse af, hvad det mest hensigtsmæssige evalueringsdesign er.
Evalueringen skal også indeholde implementeringsevaluering. Hvis indsatsbeskrivelsen tilsiger det, og der er udviklet egentlige fidelitetskriterier, kan implementeringsevalueringen indeholde en systematisk opfølgning på, om indsatsen er implementeret som planlagt. Der vil i de fleste afprøvningsprojekter være behov for kvalitative data til at belyse implementeringserfaringerne.
Endelig skal evalueringen indeholde en økonomisk evaluering, jf. Socialstyrelsens retningslinjer.
Såfremt forudsætningerne er til stede, anvendes den Socialøkonomiske Investeringsmodel (SØM) til at belyse de budgetøkonomiske konsekvenser af den givne sociale indsats.
Kriterier for at fortsætte til udbredelsesfasen
Følgende kriterier skal være opfyldt, førend udbredelsesfasen igangsættes:
Side 16 af 26
Afprøvning/Udbredelse
Kriterier:
Indsatsen er implementeret som forudsat
• Afprøvningskommunerne har kunnet gennemføre indsatsen som forudsat i indsatsbeskrivelsen
• Der foreligger viden om, hvordan forskellige implementeringsforhold påvirker indsatsens effekt for borgerne
Indsatsen har en positiv effekt på borgernes problemstilling
• Afprøvningen viser, at indsatsen er effektiv ift. at opnå de forventede resultater for borgerne
• Effekten for borgerne er tilstrækkelig stor til at gøre en reel forskel i borgernes liv – både på kort og på længere sigt.
• Der har ikke vist sig væsentlige, negative bi-effekter af indsatsen (eller indsatsen vurderes stadig relevant på trods af eventuelle negative bi-effekter)
Indsatsen er omkostningseffektiv
• Afprøvningen har dokumenteret eller som minimum sandsynliggjort, at indsatsen er omkostningseffektiv for samfundet og for den kommune, der skal betale for indsatsen Indsatsen er efterspurgt
• På baggrund af afprøvningen, herunder effektmålingen og analysen af indsatsens omkostningseffektivitet, er kommunerne parate til at implementere (eller købe) indsatsen
Realistisk driftsperspektiv
• Den oprindelige driftsstrategi er pba. afprøvningen (eventuelt revideret og)
sandsynliggjort: Det er realistisk, at der kan visiteres borgere nok til en bæredygtig faglig og økonomisk drift af indsatsen – også efter den indledende rådgivning i driftsfasen (fase 3) ophører
• Der er udviklet et design for fortsat monitorering af indsatsens implementering og resultater
Fase 3: Udbredelsesfasen
Udbredelsesfasen vil variere i længde ud fra en række forskellige parametre, herunder:
Kommunernes og de sociale tilbuds behov for støtte og rådgivning ifm. udbredelse og
implementering; indsatsens tekniske og implementeringsmæssige kompleksitet; driftsmodellen for indsatsen; etableringsomkostninger etc.
Udbredelsesfasen vil typisk vare mellem 2 og 5 år.
Formål med udbredelsesfasen
Formålet med udbredelsesfasen er at udbrede den virksomme indsats til interesserede
kommuner/sociale tilbud med henblik på størst mulig effekt af den udviklede indsats til gavn for borgerne og for samfundet.
Side 17 af 26 Udbredelsen vil i en overgangsfase ske med rådgivning og implementeringsstøtte fra Social- og Indenrigsministeriet (typisk gennem Socialstyrelsen), dog så indsatsen efterfølgende overgår til selvstændig uafhængig forankring og drift.
Roller og opgaver
Det er særligt Social- og Indenrigsministeriet (typisk Socialstyrelsen), der har en aktiv rolle i udbredelsesfasen ift. at rådgive kommuner og sociale tilbud om indsatsen.
Socialstyrelsen: Rådgiver kommuner og sociale tilbud om indsatsen, herunder om de lokale forudsætninger er til stede for at arbejde med indsatsen, og hvilke resultater
kommunen/tilbuddet kan forvente.
Det kan være nødvendigt med implementeringsstøtte i form af fortsat rådgivning,
netværksskabende aktiviteter, faglig supervision eller lignende i en overgangsperiode ud fra en konkret vurdering og alt efter udbredelseskanal. Social- og Indenrigsministeriet (Socialstyrelsen) sikrer, at der vælges en (eller flere) egnet(-ede) udbredelseskanal(er). Socialstyrelsen arbejder for at udbrede indsatsen de steder, hvor det er relevant og hensigtsmæssigt, hvilket kræver information og målrettet kommunikation til interesserede kommuner/tilbud. Samtidig skal Socialstyrelsen stå for eller tilse, at der udvikles en datamodel for udbredelsen.
Kommunerne / De sociale tilbud: Implementerer indsatsen på baggrund af rådgivning, typisk fra Socialstyrelsen. Der kan være visse dokumentationskrav i, forbindelse med datamodellen.
Leverandører: Udbredelsen vil typisk foregå på almindelige markedsvilkår, det vil sige såfremt indsatsen forudsætter en metodeleverandør eller driftsorganisation, skal dette tilkøbes på almindelige markedsvilkår efter udbudsreglerne. I begrænset omfang kan Social- og
Indenrigsministeriet betale for visse rådgivnings- og/eller undervisningsforløb i en indledende udbredelse. Det skal dog ske med henblik på, at kommunerne/de sociale tilbud overtager og forankrer driften efter en sådan indledende periode.
Forskere og konsulenthuse: Forskere og konsulenthuse har typisk ikke en rolle i udbredelsen.
Der kan dog være tilfælde, hvor datamodellen og indsamling og analyse af data herfra mest hensigtsmæssigt foretages af en forskningsinstitution eller et konsulenthus.
Typiske leverancer
Typiske leverancer i udbredelsesfasen er:
• Rådgivningsaktiviteter for interesserede kommuner/sociale tilbud
• Implementeringsstøtte gennem relevant udbredelseskanal
• En datamodel for indsamling og formidling af implementerings- og resultatdata
Forud for udbredelse af indsatsen vil typisk indgå rådgivningsforløb for kommuner/sociale tilbud, hvor det i en nærmere dialog afklares, om der er grundlag for at implementere indsatsen
effektivt i den lokale kontekst. Det informationsmateriale om indsatsen, som blev udarbejdet efter afprøvningsfasen, kan indgå i rådgivningsforløbet.
I udbredelsesfasen kan Socialstyrelsen – afhængigt af indsatsens karakter og de kommunale behov – yde implementeringsstøtte i en opstartsfase. I så fald udarbejdes et koncept for implementeringsstøtten, der foruden rådgivning kan indeholde undervisning, supervision, auditering, ledelsesinformation og -sparring mv.
Som led i udbredelsen udarbejder Socialstyrelsen en datamodel, der gør det muligt nationalt at følge med i, om indsatsen implementeres som forventet og med de forventede resultater.
Dermed etableres en national viden om, hvorvidt indsatsen er den bedste (eller blandt de bedste) alternativer på området, og om der er behov for supplerende udvikling.
Side 18 af 26 Datamodellen opstiller dermed et bindende dokumentationskrav for de kommuner/tilbud, der vil arbejde videre med indsatsen. Af hensyn til at sikre valide data og for ikke at bebyrde
kommunerne/tilbuddene unødigt, er det vigtigt, at datamodellen også giver styringsmæssig og faglig relevant lokal ledelsesinformation, og at datamodellen ikke er omfattende og i videst muligt omfang genbruger eksisterende data. Relevante validerede måleredskaber (identificeret i afprøvningsfasen) kan indgå i datamodellen.
Udvikling af viden i udbredelsesfasen
Formålet med vidensarbejdet i udbredelsesfasen er at tilse, at indsatsens dokumenterede eller sandsynliggjorte effekt er stabil over tid, samt at have et vidensgrundlag for at kunne korrigere eventuelle implementeringsfejl i udbredelsen.
Desuden skal vidensarbejdet give mulighed for at sammenligne indsatsens resultater med eventuelle nytilkomne alternativer.
I udbredelsesfasen monitorerer Socialstyrelsen udbredelsen af indsatsen med hensyn til implementering og resultater. Det vil ofte være kvantitative data – fx resultater fra brug af validerede måleredskaber – der ligger til grund for denne monitorering. Der kan dog også indgå andre typer data, fx videoanalyse, auditering eller lignende med henblik på at vurdere og supervisere implementeringen.
Generelt skal det sikres, at CPR-numre på de borgere, der modtager indsatsen, kan lagres i Social- og Indenrigsministeriets ministerieordning ved Danmarks Statistik med henblik på opfølgende analyser. Personfølsomme oplysninger behandles i henhold til lovgivningen og ministeriets retningslinjer.
Hvad er udvikling af sociale indsatser – og hvad er ikke?
Drejebogen beskriver systematik og retning for udvikling af sociale indsatser på ministerområdet
National udvikling af sociale indsatser er initiativer og opgaver, der har til formål at udbrede klart definerede indsatser, som dokumenteret virker og er omkostningseffektive med hensyn til at løse (eller minimere konsekvenserne af) en social problemstilling for en nærmere bestemt målgruppe i store dele af landet.
Der findes forskellige typer udviklingsarbejde, og typen kan have betydning for, hvad
udgangspunktet for udviklingsarbejdet er, og dermed for hvordan Drejebogen skal anvendes.
Der findes også en række opgaver og initiativer på ministerområdet, der ikke falder under definitionen af udvikling af sociale indsatser. Her vil det bero på konkret vurdering, i hvilken form og udstrækning Drejebogens anbefalinger finder anvendelse.
National udvikling af sociale indsatser
National udvikling af sociale indsatser kan både handle om at udvikle en ny indsats fra grunden og om at afprøve og udbrede allerede kendte danske eller udenlandske indsatser.
Der kan skelnes mellem fire typer nationale udviklingsprojekter:
Side 19 af 26 1. Udvikling af en ny indsats fra grunden på baggrund af teori og/eller viden om effektive
delindsatser (fx det oprindelige svensk-norske udviklingssamarbejde om MultifunC) 2. Videreudvikling af en indsats på baggrund af en eksisterende, lovende praksis (fx
Familiens hus).
3. Afprøvning af indsatser udviklet i et andet land (fx flere af de evidensbaserede programmer på børneområdet).
4. Afprøvning af indsatser oprindeligt udviklet til en anden målgruppe (fx CTI til kvinder på krisecentre)
Der er væsentlige forskelle i udgangspunktet for udviklingsarbejdet mellem de fire typer. Det kan have betydning for, i hvilken fase udviklingsarbejdet starter (jf. fasemodellen).
Generelt er det sådan, at kriterierne for at iværksætte en fase i udviklingen altid gælder (se kapitlet om fasemodellen for en beskrivelse af kriterierne). Man skal derfor altid foretage en konkret vurdering af, i hvilken fase udviklingsarbejdet bør starte.
Ofte vil sammenhængen mellem typen af udviklingsprojekt og startfasen være som følger:
Tabel 1
Oversigt over forskellige typer national udvikling af sociale indsatser - og hvordan de relaterer sig til fasemodellen
Nr. Type Eksempel Startfase
1 Indsatser udviklet fra grunden
Det norsk-svenske udviklingsprojekt om MultifunC
Vil altid starte med screeningsfasen (fase 0)
2 Indsatser udviklet i Danmark af kommuner leverandører eller forskningsinstitutioner, fx lovende praksisser.
Eksempel: ”Kærlighed i Kaos” – udviklet af ADHD-foreningen og effektmålt af SFI med støtte fra Trygfonden
Vil oftest starte med screeningsfasen (fase 0) – men kan i princippet starte i hvilken som helst fase, hvis kriterierne er opfyldt (fx det nævnte eksempel, der kan starte med
udbredelsesfasen (fase 3)
Side 20 af 26
Nr. Type Eksempel Startfase
3.a. Indsatser udviklet i udlandet, som Social- og
Indenrigsministeriet ønsker afprøvet
(fx KEEP, FFT, DUÅ- dagtilbud )
Skal som udgangspunkt starte i screeningsfasen (fase med henblik på at afklare bl.a. efterspørgsel og målgruppevolumen.
Er dette på plads, kan der startes i modningsfasen (fase for at afklare, hvilke tilpasninger der eventuelt skal ske, før man kan implementere indsatsen i en dansk kontekst.
I særlige tilfælde (typisk indsatser udviklet i Sverige, Norge eller på Island) kan indsatsen – såfremt den i øvrigt opfylder kriterierne herfor – starte i afprøvningsfasen (fase 2))
3.b
Indsatser udviklet i udlandet, som er importeret og
understøttet af andre aktører (metodeleverandører), og som anvendes af kommuner og leverandører.
Eksempel Feedback
Informed treatment (FIT) Kan starte i hvilken som helst fase, hvis de opfylder
kriterierne.
4 Indsatser oprindeligt udviklet til
andre målgrupper CTI Vil ofte starte med en
screeningsfase (fase 0) – men kan i princippet starte i hvilken som helst fase, hvis kriterierne er opfyldt
Uanset i hvilken fase, projektet starter, kan typen af udvikling have betydning for, hvad man skal fokusere på i udviklingsarbejdet. Fx vil nogle indsatser allerede have veludviklede
indsatsbeskrivelser og/eller have identificeret de bedst egnede redskaber til effektmåling, hvorfor fase 1 i så fald kan fokusere på implementeringsudfordringer for indsatsen i en dansk sammenhæng.
Afgrænsning af national udvikling af sociale indsatser
Definitionen af national udvikling af sociale indsatser indeholder afgrænsninger, som belyser, hvornår der er tale om national udvikling af sociale indsatser.
For det første er slutmålet om national udbredelse – typisk udbredelse i et større antal
kommuner eller leverandører - vigtigt. Man kan sagtens forestille sig at udvikle indsatser, der er møntet på en enkelt (eller ganske få) kommuner eller leverandører af sociale ydelser. I så fald er der ikke tale om national udvikling af sociale indsatser. Det gælder fx ofte puljer i Social- og
Side 21 af 26 og indenrigsministeriet, hvoraf der bevilges midler til en række forskellige organisationer inden for rammerne af et fælles tema/formål, men hvor det er op til det enkelte projekt, som modtager støtte, at udvikle deres egen indsats.
For det andet skal indsatsen defineres klart i løbet af udviklingsarbejdet – i praksis efter modningsfasen i modellen. At være klart defineret betyder, at man tydeligt kan skelne mellem, hvornår man arbejder efter indsatsen, og hvornår man ikke gør. Der kan være mange
situationer på socialområdet, hvor dygtige faglige medarbejdere ikke ønsker at være låst af en bestemt indsats, men i stedet trækker bredt på erfaringer fra forskellige tilgange. Det kan være helt legitimt – men i så fald arbejder man ikke hen imod en indsats med dokumenteret effekt, og opgaven falder derfor ikke inden for national udvikling af sociale indsatser.
For det tredje skal formålet med udviklingen være, at indsatsen dokumenteret virker og er omkostningseffektiv. Det stiller særlige krav til den evaluering, som gennemføres. I nogle projekter og for nogle indsatser er det ikke hensigtsmæssigt at gennemføre en evaluering - i så fald vil indsatsen ikke kunne falde ind under national udvikling af sociale indsatser.
Endelig skal indsatsen være møntet på en konkret social problemstilling for en nærmere defineret målgruppe. Det er vigtigt i forhold til stringens i afprøvningen, evalueringen og den senere udbredelse af indsatsen, at man ved, hvem indsatsen hjælper (og hvem den ikke kan hjælpe) og med hvad (og hvilke problemer hos målgruppen, den ikke løser). Udviklingsarbejdet kan godt føre til, at man på baggrund af erfaringer fra udviklingsprojektet reviderer synet på målgruppe og problemstilling. Man kan også på baggrund af udviklingsarbejdet iværksætte nye udviklingsinitiativer ud fra en forventning om, om indsatsen (eller dele af den) virker for andre målgrupper eller på andre typer sociale problemer. Men projekter med uklare målgrupper eller uklare beskrivelser af det/de sociale problem(er), indsatsen skal adressere, kan ikke modnes, afprøves og udbredes stringent.
Nedenstående tabel viser en oversigt over, hvordan national udvikling af sociale indsatser adskiller sig fra andre typiske opgaver i Social- og Indenrigsministeriet.
Tabel 2
Oversigt over typer af initiativer og opgaver på ministerområdet som afgrænsning af den nationale udvikling af sociale indsatser
Type indsats / initiativ Kendetegn
Ny viden om sociale indsatser med nationale
anvendelsesmuligheder Systematisk screening, modning og afprøvning af sociale indsatser efter klare standarder angivet i Fasemodellen.
Målgruppen og det sociale problem, indsatsen skal løse eller afhjælpe konsekvenserne af, er klart defineret.
Side 22 af 26
Type indsats / initiativ Kendetegn
Anden ny viden og udvikling af redskaber med
nationale anvendelsesmuligheder Vidensprodukter, der kan indgå i eller har et bredere sigte end en konkret social indsats, mens som ikke i sig selv har udvikling af en social indsats som formål.
Bl.a. forskningsprojekter eller enkeltstående analyser af sociale forhold, der kan indgå som vidensgrundlag for udvikling af sociale indsatser, men som ikke har evaluering og udvikling af en konkret indsats som formål.
Vidensbaserede redskaber, fx
sagsbehandlingsmetoder, håndbøger, nye dokumentationsredskaber mv., som kan indgå som del af eller som grundlag for en konkret indsats, men ikke i sig selv udgør en indsats.
Formidlingsprodukter som nationale retningslinjer, forløbsbeskrivelser, centrale udmeldinger mv., der hviler på aktuelt bedste viden, men som har bredere fokus end en konkret indsats.
Evaluering af lovgivning, nationale handlingsplaner mv.
Udbredelse af aktuelt bedste viden Der kan være tale udbredelse af sociale indsatser efter strategien, såfremt der sker udbredelse af en konkret social indsats, som lever op til kriterierne fra Strategi for udvikling af sociale indsatser.
Øvrig udbredelse af aktuel bedste viden, herunder Socialstyrelsens rådgivningsydelser, har et bredere sigte end en konkret social indsats.
Lokalt forankret vidensudvikling Initiativer med vidensarbejde, der fokuserer på særskilte, lokale indsatser frem for fælles, national udvikling, samt vidensudvikling, der ikke har karakter af aktuelt bedste viden på nationalt niveau.
Bl.a. evalueringer eller analyser i forbindelse med ansøgningspuljer til særskilte, lokale projekter, drifts- eller aktivitetsstøtte mv.
Øvrige initiativer Initiativer, der ikke bidrager med ny viden, herunder lovgivningsinitiativer, puljer og driftsstøtte uden midler til vidensudvikling, administrative omlægninger mv.
Side 23 af 26
Bilag A: Validerede måleredskaber
Baggrund for listen
Som led i strategien for udvikling af sociale indsatser på Social- og Indenrigsministeriets område er det besluttet at revidere Socialstyrelsens liste over validerede instrumenter til brug til belysning af outcome på tværs af evalueringer på det sociale område.
Revisionen er foretaget med faglige input fra KORA og SFI (i dag: VIVE) samt fra
opfølgningsprojekter bestilt af Socialstyrelsen efter udarbejdelsen af den oprindelige liste.
Desuden er der udarbejdet et overblik over brug af validerede instrumenter i igangværende evalueringer mv. i Socialstyrelsens regi. Det er tillagt vægt, at et instrument anvendes i andre evalueringer.
Formålet med listen er at:
• fremme en øget brug af de samme validerede instrumenter til måling af outcome i evalueringer på det sociale område med henblik på at styrke mulighederne for sammenligning af effekter på tværs samt at give bedre grundlag for økonomiske evalueringer
• løfte kvaliteten i måling af outcome/effekter (både generelle og specifikke) i evalueringer på det sociale område ved at tydeliggøre forventningen om samt understøtte, at der anvendes velvalgte validerede instrumenter.
Det er en ambition for arbejdet at pege på velegnede instrumenter til brug i evalueringer af sociale indsatser til de tre hovedmålgrupper, som omtales i ”Strategi for udvikling af sociale indsatser”: Socialt udsatte børn og unge, socialt udsatte voksne samt mennesker med handicap.
Det er endvidere ambitionen, at målgrupperne for de sociale mål er dækket med relevante validerede instrumenter vedrørende outcomes på kort og mellemlangt sigt i evalueringer. Den langsigtede udvikling for disse målgrupper i relation til de sociale mål belyses via de indikatorer, der er udviklet hertil med udgangspunkt i registerdata.
Der er udarbejdet en nettoliste med ganske få instrumenter, der skal anvendes i de relevante evalueringer, med mindre væsentlige faglige hensyn taler imod det.
Derudover er der udarbejdet en supplerende bruttoliste over instrumenter, som anbefales at anvende, hvor det er relevant.
Der skelnes mellem generelle (G) og specifikke (S) instrumenter. Det er ikke nogen entydig skelnen, men generelle instrumenter er relevante for mange målgrupper og sociale indsatser, mens de specifikke er tættere nyttet til en konkret problematik for en eller flere målgrupper.
Listens anvendelse, herunder præcisering af evaluators faglige ansvar
Formålet om øget sammenlignelighed af evalueringsresultater vedrørende effekt samt styrkede forudsætninger for at gennemføre økonomiske evalueringer tilsiger, at man i høj grad anvender samme validerede instrumenter på tværs af evalueringer.
Side 24 af 26 Det er imidlertid afgørende for at opnå den øgede sammenlignelighed, at instrumenterne alene benyttes, hvor det er fagligt relevant og meningsfuldt. Der skal derfor generelt anvendes et ”følg eller forklar”-princip, hvor eventuelle afvigelser fra nettolisten eller fravalg af relevante
anbefalede supplerende redskaber fra bruttolisten, begrundes eksplicit.
Nedenfor uddybes principperne for listens brug:
• Der er en klar forpligtelse til at anvende instrumenterne på nettolisten, hvis de er relevante for målgruppen og det forventede outcome.
• Der må omvendt ikke anvendes instrumenter med henvisning til listen, hvor det ikke er fagligt relevant. Det kan fx indebære en stor risiko for, at man kommer til at overse effekter af indsatser, fordi man måler med et instrument, der ikke kan indfange de effekter, der måtte være.
• Der opfordres desuden til, at der vælges supplerende specifikke instrumenter i den enkelte evaluering, hvor det er relevant, med afsæt i bruttolisten.
• Evaluator har generelt det faglige ansvar for at søge relevant information om såvel instrumenter fra nettolisten som supplerende instrumenter. Derudover er det evaluators faglige ansvar at anvende instrumenterne på en fagligt og etisk forsvarlig måde.
• Evaluator har ansvar for at tage kritisk stilling til og argumentere for egnethed af alle instrumenter til den konkrete evaluering og begrunde og sige fra over for forventningen om at anvende instrumenter fra nettolisten, hvis det ikke er fagligt forsvarligt at anvende dem (jf. ”følg eller forklar”-princippet ovenfor).
Principperne lægges til grund for kvalitetssikring af udbudsmaterialer, tilbudsbehandling og leverandørstyring i Socialstyrelsen.
Nettolisten
Revisionsarbejdet har ført frem til nedenstående nettoliste (generelle og specifikke instrumenter er markeret med henholdsvis G og S). Det har været et væsentligt hensyn, at de instrumenter, der peges på, er relativt sikre valg ud fra en række forskellige kriterier3. Samtidig er hidtidig anvendelse i evalueringer mv. på det sociale område et væsentligt kriterium (ad
sammenlignelighed).
Tabel 3 Nettolisten
Socialt udsatte børn og unge
Små børns trivsel SEAM (G)
Børns trivsel SDQ (G)
Forældrestress Parental Stress Scale (S)
Kriminalitetsrisiko YLS-CMI (S)
Socialt udsatte voksne
Socialt udsatte voksne, trivsel WHO5 (G)
Voksnes misbrug Europ-ASI (S)
Mennesker med handicap
3 Til udvælgelse af instrumenter til Socialstyrelsens oprindelige liste over validerede instrumenter til brug for evalueringer på det sociale område blev der foretaget en samlet vurdering på baggrund af
instrumentets overordnede og specifikke outcome, målgruppe, karakteristik, dansk oversættelse og normtal mv., dansk anvendelse, hidtidig anvendelse i evalueringer, reliabilitet, validitet, responsivitet, administrerbarhed og licensforhold. Disse kriterier har også indgået i arbejdsgruppens vurdering i revisionen af listen.
Side 25 af 26 Socialt udsatte børn og unge
Mennesker med handicap, trivsel WHO5 (G)
Bruttolisten
Tabel 4
Bruttolistens generelle instrumenter (G) Udsatte børn og unge og børn og unge med handicap
Små børns udvikling ASQ-3
Helhedsvurdering af barnets funktionsevne PEDI eller PEDI-CAT
Livskvalitet KIDSCREEN
Socialt udsatte voksne og voksne med handicap
Mental sundhed SWEMWBS
Stress Perceived Stress Scale
Selvværd4 Rosenberg Self-Esteem Scale
Self-efficacy5 General self-efficacy scale
Selvbestemmelse, deltagelse og autonomi IPA-DK
Adfærd Vinland II
Sociale relationer CSRQ6
Ensomhed UCLA
Tabel 5
Bruttolistens specifikke instrumenter (S) Udsatte børn og unge samt børn og unge med handicap
Spiseforstyrrelser EDI-3
Sprogvurdering Sprogvurdering til 3-årige, inden skolestart og i
børnehaveklassen
Unge med misbrug UngMap
Socialt udsatte voksne og voksne med handicap
Recovery Recovery Assessment Scale
PTSD HTQ-IV Harvard Trauma Questionnaire
Voldsudsættelse/ -udøvelse CTS2 (i forskellige versioner)
4 Selvværdet afspejler den måde, mennesker opfatter og bedømmer sig selv på og er en grundlæggende følelse af at være noget værd som menneske.
5 Self-efficacy er et begreb, som beskriver en optimistisk tro på sig selv. Det er troen på at man kan udføre nye eller vanskelige opgaver eller klare modgang i forskellige domæner af den menneskelige
funktion,hvilket vil sige at være i stand til at opstille mål, investere en indsats og være vedholdende, på trods af at opleve udfordringer og barrierer.
6 Der er ikke tale om et valideret instrument, men om et spørgebatteri, som er anvendt i adskillige kohorteundersøgelser for forskellige målgrupper. Spørgebatteriet er særligt egnet til det sociale område, fordi det også belyser netværksbelastninger.
Side 26 af 26 Udsatte børn og unge samt børn og unge med
handicap
ADL7 + fysisk funktion Barthel 20 og Barthel 100
Derudover relaterer de specifikke mål sig til målgrupperne vedr. sociale mål på følgende måde:
• Unge i eller i risiko for at begå kriminalitet: YLS-CMI (S)
• Personer med stofmisbrug: Europ-ASI (S)
7 Almindelig Daglig Livsførelse (ADL) belyser evnen til at klare almindelige daglige aktiviteter i hjemmet, på arbejdet og i fritiden.
5000 Odense C Tlf.: 72 42 37 00 www.socialstyrelsen.dk
