Dokumentation og opfølgning

Kommunalbestyrelsen er ifølge vejledningsloven forpligtet til at offentliggøre de aktuelle mål og rammer for vejledningen og kommunens resultater af vejledningsindsatsen på kommunens

80 Danmarks Evalueringsinstitut

hjemmeside. Undervisningsministeriet stiller resultaterne – forstået som overgangsmønstrene fra grundskolen til ungdomsuddannelserne – til rådighed for kommunerne.

Bekendtgørelsen fastlægger desuden at det enkelte UU-centers kvalitetssystem skal kunne belyse vejledningsaktiviteternes art og omfang. Kvalitetssystemet skal endvidere kunne belyse sammen-hængen mellem vilkår og rammer for vejledningen og efterspørgslen efter vejledning. Systemet skal endelig kunne belyse de forskellige samarbejder som centeret indgår i, og gældende proce-durer for en årlig selvevaluering på UU-centeret.

Selvevalueringsrapporter og interview med de selvevaluerende centre viser at der er stor forskel på hvor langt centrene er nået med at etablere rutiner for indsamling af dokumentation til at be-lyse målsætningerne for vejledningen.

UU Århus gennemfører systematiske evalueringer af hver enkelt vejledningsaktivitet som fx er-hvervspraktik og virksomhedsbesøg. Disse evalueringer suppleres med registreringer af hvor mange unge der har deltaget i de enkelte aktiviteter. Andre centre, fx UU Vestsønderjylland, har endnu ikke etableret nogen systematisk evalueringspraksis. Her evalueres aktiviteterne mundtligt på møder to gange om måneden. På disse møder beslutter centeret hvordan der skal følges op på den enkelte aktivitet.

Der er stor forskel på den type dokumentation som det enkelte center indsamler. For at belyse sammenhængen mellem vilkår og rammer for vejledningen og efterspørgslen efter vejledning har UU i Tårnby fx valgt at gennemføre en spørgeskemaundersøgelse blandt samtlige 9. og 10. klas-ser i marts – dvs. lige efter fristen for at vælge ungdomsuddannelse. UUV Køge har arbejdet med et system hvor alle unge giver vejlederen en karakter efter at have fået vejledning.

UU Lolland-Falster bemærker i sin selvevalueringsrapport at centeret indtil videre primært har brugt vejledernes og ledernes netværk og personlige kontakter til at få information om vejlednin-gens kvalitet. I selvevalueringsrapporten fra UU Lolland-Falster påpeger ledelsen at denne form for evaluering har den svaghed at den er mundtlig og derfor vanskelig at fastholde. Desuden er der ifølge ledelsen behov for at afdække de unges holdning til vejledningen som ikke afdækkes ved blot at holde møder med samarbejdspartnere. Ledelsen vil derfor indarbejde nogle mere sy-stematiske brugerundersøgelser i kvalitetsarbejdet.

UU-Region Vejle har ikke etableret en løbende og systematisk dokumentationsindsamling i for-hold til centerets målsætninger. Vejlederne har hver især en logbog der fungerer som styringsred-skab for den enkelte vejleder. I evalueringsgruppens interview med UU-Region Vejle vurderer le-delsen at den manglende evaluering af den samlede indsats skyldes at centeret ikke har

velfunge-Vejledning om valg af uddannelse og erhverv 81

rende evalueringsredskaber. Derfor er deres kvalitetsudvikling baseret på fornemmelser frem for redskaber og dokumentation.

Effektmåling

Under evalueringsgruppens interview med de selvevaluerende UU-centre giver centrene generelt udtryk for at kvalitetsarbejdets største udfordring er at måle vejledningens effekt. De effektmål som Undervisningsministeriet stiller til rådighed, er de lokale overgangsfrekvenser til ungdomsud-dannelserne.

Selvevalueringsrapporterne viser at nogle af de selvevaluerende centre forsøger at kvalificere disse effektmål ved selv at registrere de unges uddannelsesadfærd i sammenhæng med den vejledning som de har fået af UU-centerets vejledere. I UUV Køge, som er et af de centre der forsøger at kvalificere effektmålene med egne registreringer af de unges frafald og omvalg, søger man at vurdere effekten af vejledningen via samtaler med de unge der enten er faldet fra eller har valgt om. UUV Køge gør opmærksom på at disse registreringer kræver et it-system der er i stand til at generere de nødvendige statistikker. It-systemernes utilstrækkelighed har ifølge UUV Køge resul-teret i at flere centre har måttet skifte systemer undervejs og derfor ikke er kommet langt med at registrere. Mange centre bygger således deres vurdering af vejledningsindsatsen på registreringer af de forskellige aktiviteter uden at koble den til vejledningens indflydelse på den enkelte unges adfærd.

Et af de centre der har en udbredt kvalitativ evalueringspraksis, er UU Århus der kvalificerer fra-faldsstatistikkerne på baggrund af samtaler med de unge som registreres i dagbogsform. I evalue-ringsgruppens interview tilkendegiver centerets ledelse at denne form kan fortælle noget om hvad der vejledningsmæssigt kan forbedres for at forhindre frafald på ungdomsuddannelserne.

Samtidig finder ledelsen på UU Århus det vigtigt at centeret ikke opererer med en journallignen-de registrering som i journallignen-det sociale system da sådanne registreringer vil være juridisk binjournallignen-denjournallignen-de.

Dagbogsformen har ifølge UU Århus desuden den styrke at den anvendes med udgangspunkt i en fælles etik som en journal ikke kan tilgodese.

Samtlige selvevaluerende centre påpeger enten i selvevalueringsrapporterne eller i evaluerings-gruppens interview at de overgangsfrekvenser som Undervisningsministeriet stiller til rådighed som effektmål, er problematiske som udtryk for vejledningens effekt. Frekvenserne viser ikke hvil-ken vejledning der giver anledning til hensigtsmæssig adfærd, og hvilhvil-ken der ikke gør. Hvis stati-stikkerne ikke skaber koblingen mellem vejledning og uddannelsesaktivitet, kan de ifølge UU-centrene ikke belyse vejledningens effekt.

Da UU-centrene blev etableret, udarbejdede Rambøll Management en håndbog for Undervis-ningsministeriet til inspiration vedrørende kvalitetssikring, -udvikling og -måling af

vejledningsind-82 Danmarks Evalueringsinstitut

satsen. Håndbogen er ment som en inspiration og et hjælpeværktøj for UU-centrene i deres ar-bejde med kvalitetssikring. Kun fire selvevaluerende centre har anvendt håndbogen i arar-bejdet med at etablere et kvalitetssystem. Vejlederne føler sig på grund af manglende erfaring med eva-luering og systematisk kvalitetsarbejde ikke i stand til at anvende håndbogen.

Rambølls håndbog er ikke blevet det støtteredskab for UU-centrenes opbygning af kvalitetssy-stemer som den var tiltænkt. Det skyldes bl.a. ledelsernes og vejledernes manglende erfaring med systematisk kvalitetsarbejde. Centrenes ledelser bør i samarbejde med kommunerne gøre en ind-sats for at udvikle de nødvendige kompetencer til at gennemføre et systematisk kvalitetsarbejde hvor målsætninger, indsamling og analyse af dokumentation, tolkning af resultater og opfølgning – herunder fastsættelse af nye mål – hænger tydeligt sammen. Man kan både kompetenceudvik-le nuværende medarbejdere og efterspørge disse kompetencer i forbindelse med fremtidig re-kruttering.

Evalueringsgruppen anbefaler

- at UU-centrene i samarbejde med kommunerne sørger for at både ledelserne og vejlederne har de nødvendige kompetencer til at løfte opgaverne i forbindelse med at gennemføre et systema-tisk kvalitetsarbejde på centrene.