Kerneelement 8: Kommunen skal igangsætte løbende opfølgning med mentorstøtte
10. BILAG 2: KORT OM MIDTVEJSEVALUERINGENS DELANALYSER
10.1 EVALUERINGSAKTIVITETER OG DATAGRUNDLAG
Tabellen nedenfor viser, hvad midtvejsevalueringens dataindsamlinger bidrager med af viden.
Dataindsamling Vidensbidrag
Registeranalyse Afdækker de deltagende kommuners fremskridt med hensyn til anvendelse af virksomhedsrettet indsats og ordinære timer i forhold til udgangspunktet i nulpunktsanalysen. Sammenholder disse fremskridt med de tilsvarende fremskridt i sammenligningsgruppen af kommuner for at vurdere, om de har klaret sig bedre end disse
Leverer information til og grundlag for udvælgelse af kommuner til casestudier
Surveyundersøgelse blandt alle relevante ledere og
medarbejdere
Afdækker de deltagende kommuners status ift. efterlevelse af STV-indsatsrammens minimumskrav og deres fremskridt fra
nulpunktsmålingen
Afdækker i hvilket omfang de forskellige implementeringsgreb er blevet anvendt, og i hvilket omfang de forskellige
implementeringsgreb har bidraget til implementeringen af STV-indsatsrammen, herunder skabt en ændret adfærd
Leverer information til og grundlag for udvælgelse af kommuner til casestudier
Casestudier baseret på interviewdata og observation
Afdækker hvordan fire udvalgte kommuner med markante ændringer har implementeret STV-indsatsens indholdsmæssige og organisatoriske minimumskrav, herunder årsagerne til høj eller lav implementeringsgrad
Afdækker i hvilket omfang og hvordan de fire kommuner har anvendt implementeringsgrebene, samt hvilke implementeringsgreb der er virksomme/mindre virksomme til brug for implementering af STV-indsatsen
Afdækker udvalgte borgeres oplevelse af indsatsen, herunder hvordan kommunens anvendelse af indsatsrammen indvirker på borgerens virksomhedsforløb
Afdækker viden om STV-indsatsrammens forankring i den enkelte projektkommune
Supplerende:
Monitoreringsværktøj Statusrapporter Observationer fra indsatsgruppemøder,
projektledernetværksaktiviteter, temaworkshop,
uddannelsesaktiviteter mv.
Afdækker de deltagende kommuners status ift. efterlevelse af STV-indsatsrammens minimumskrav og udvikling hidtil i projektperioden
Afdækker hvordan kommunerne konkret har implementeret STV-indsatsens indholdsmæssige og organisatoriske minimumskrav, herunder årsagerne til høj eller lav implementeringsgrad
Afdækker centrale implementeringsudfordringer og best practice eksempler
Evaluering af STV-Projektet
51
10.2 REGISTERANALYSER
Registeranalyserne måler i hvilket omfang STV-indsatsens implementeringsgreb fører til øget anvendelse af den virksomhedsrettede indsats, vi ved har god effekt. Dette er trinnet før en normal effektmåling, hvor man ville analysere effekten af den virksomhedsrettede indsats. Man kan sige, at vi ønsker at teste forandringsteorien – altså hvorvidt de anvendte implementeringsgreb fører til, at jobcentrene lykkes med at implementere STV-indsatsrammen og anvende de effektive redskaber i større omfang end andre jobcentre – og end de selv gjorde før STV-projektets start.
Virksomhedsrettet indsats fortolkes her som virksomhedspraktik og løntilskud, mens ordinære timer opgøres ved hjælp af data fra e-indkomst, som kobles på DREAM.
Registeranalyserne beskriver også baggrundskarakteristika for deltagende delmålgrupper af borgere og sammenligner med samme borgergrupper i landets øvrige jobcentre.
Datagrundlag
I registeranalysen anvendes data fra nyeste version af DREAM beriget med e-Indkomst data, som indeholder informationer frem til og med sidste uge af august 2017.
Fra dette datamateriale er udvalgt i første omgang alle de borgere, som har været aktivitetsparate kontanthjælpsmodtagere (DREAM koder 730-739) eller har været i ressourceforløb (DREAM koder 810-819) siden første uge af november 2016 (uge 44) og indtil udgangen af august 2017 (uge 35).
STV-indsatsen omfatter også aktivitetsparate integrationsydelsesmodtagere, som hverken har et uddannelsespålæg eller er omfattet af integrationsprogrammet, men der er for det første meget få af disse, og vi kan for det andet ikke identificere, hvem i gruppen der har et uddannelsespålæg.
Derfor er det i samråd med STAR besluttet, at de ikke indgår i den kvantitative nulpunktsanalyse og derfor heller ikke indgår i midtvejsanalysen.
10.3 SURVEYUNDERSØGELSE
Ved midtvejsevalueringen bidrager surveyen til at afdække de deltagende kommuners fidelitet i forhold til STV-indsatsrammens minimumskrav og udvikling heri fra projektstart til midtvejs i projektperioden. Midtvejsmålingen undersøger dermed de samme parametre som
nulpunktsmålingen. Derudover undersøges også to nye dimensioner: Case load og brug af implementeringsgreb. Case load ser nærmere på, hvorvidt medarbejderne i jobcentrene hos de deltagende kommuner har oplevet en stigning eller et fald i mængden af borgersager i forbindelse med STV-indsatsen. Brug af implementeringsgreb omfatter, hvorvidt de deltagende kommuner bruger interne og eksterne implementeringsaktiviteter til at understøtte STV-projektet.
Evaluering af STV-Projektet
52
Datagrundlag
Undersøgelsen er gennemført som en totalundersøgelse i alle 27 deltagende kommuner, dvs. blandt alle de ledere og medarbejdere, der kommer i berøring med kommunernes STV-indsats undervejs i implementeringsforløbet. Grupperne består af følgende undergrupper:
alle sagsbehandlere, virksomhedskonsulenter og mentorer, der arbejder med STV-indsatsen for aktivitetsparate kontanthjælpsmodtagere
alle sagsbehandlere, virksomhedskonsulenter og mentorer, der arbejder med STV-indsatsen for aktivitetsparate integrationsydelsesmodtagere (hvis de kommunes projekt)
alle sagsbehandlere, virksomhedskonsulenter og mentorer, der arbejder med STV-indsatsen for borgere i ressourceforløb
Ledergruppen består af:
Jobcenterchef
Alle relevante afdelingsledere som involveres i STV-projektet i kommunen
Projektleder for STV-projektet
Indsamling af surveydata til midtvejsevalueringen er gennemført i perioden 2. november til 29 november 2017. Ved undersøgelsestidspunktet for midtvejsevalueringen har projektet kørt i 11 måneder. Der er indsamlet i alt 467 svar, hvilket giver en svarprocent på 86.
10.4 CASESTUDIER
Casestudierne i evalueringen sker i strategisk udvalgte jobcentre. Formålet med de kvalitative casestudier er at finde frem til bredere perspektiver, som kan nuancere og forklare den mere generelle viden fra registeranalyser og surveys.
I nærværende midtvejsevaluering er målet at få viden om, hvordan en kommune får succes med STV-indsatsen og til inspiration for det videre arbejde i projekterne inden for projektperioden. Derfor er der i denne omgang udvalgt fire succescases. Fokus i analysen ligger altså på ’best practice’ samt erfaringer og vurderinger, som andre kommuner kan lære af.
Casestudierne er sket i de fire kommuner, der har vist størst fremgang siden nulpunktsanalysen - både ift. implementering af indsatsens kerneelementer og på effekt ift. succeskriterierne.
Fremgangen er vurderet ud fra, hvor godt kommunerne lever op til projektets succeskriterier (via registerdata) og ud fra graden af implementering (via midtvejs-survey). Der er således udvalgt fire jobcentre, hvor både ledelse og medarbejdere angiver, at de har flyttet sig positivt på
implementering af kerneelementer og opnåelse af succeskriterier, ligesom de viser fremgang ifølge registerdata.
Evaluering af STV-Projektet
53
Datagrundlag
Casestudierne har form af interviewundersøgelser, hvor vi kommer hele vejen rundt om STV-indsatsen – fra ledere i jobcentret til borgere i virksomhedsrettede forløb. Der er gennemført både enkeltinterviews og fokusgruppeinterviews som semistrukturerede kvalitative interviews, hvilket både giver mulighed for, at informanterne kan bidrage med nye temaer og pointer samtidigt med, at vi får afdækket foruddefinerede relevante temaer og emner på tværs.
Der er anvendt samme overordnede spørgeramme til ledelse, projektleder og medarbejdere, men spørgsmålene er differentieret for at målrette dem de konkrete informanter. Til borgerinterviews er udviklet separat interviewguide, og borgerne er den eneste kilde her.
Alle jobcenterinterviews er udskrevet og kodet på tværs af relevante temaer. Resultaterne er sammenholdt i nedenstående samlede analyse. Alle borgerinterviews er skrevet ud som casehistorier, som vidneudsagn ift. oplevelsen af STV-indsatsen. Analysen og casehistorier er valideret af informanterne, idet de er sendt til interviewpersonerne for godkendelse.
I de 4 jobcentre er der interviewet i alt 34 personer:
Ledere med ansvar for projektets delmålgrupper og ledere for virksomhedsservice
Medarbejdere der arbejder med projektets delmålgrupper (sagsbehandlere, mentorer og virksomhedskonsulenter, hvoraf nogle også bestrider mentorfunktion)
Projektledere for STV-projekteterne
Borgere der modtager/har modtaget STV-indsats
Ledere Sagsbehandlere (S)*
Virksomheds-konsulenter(VK)*
Mentorer Projektledere Borgere
6 7 8 1 4 8
* Vi anvender i casestudierne samme terminologi for faggrupperne, som anvendes i surveyen.
Sagsbehandleren (S) er myndighedsperson og koordinerer den tværfaglige indsats, mens virksomhedskonsulenten (VK) er ansvarlig for den virksomhedsvendte del.
Alle interviews er afviklet i januar 2018 i uge 1-3.
Evaluering af STV-Projektet
54